AI绘画是否可以做到用已有的角色图片（正面）去生成其他的姿势？

最新推荐文章于 2024-09-05 14:43:42 发布

爱绘画的彤姐

最新推荐文章于 2024-09-05 14:43:42 发布

阅读量989

点赞数 24

文章标签： AI作画人工智能 AIGC stable diffusion

本文链接：https://blog.csdn.net/A2421417624/article/details/137766154

版权

文章介绍了小红书和北大团队合作的AI工具InstantID，用于在StableDiffusion上实现图片换脸功能。详细说明了在本地部署和使用该插件的过程，包括WebUI和comfyUI的安装步骤，以及不同显存需求下的配置建议。

摘要由CSDN通过智能技术生成

举个例子：

输入图：

姿势参考图：

输出图：

可以看到，AI生成的图片，从正面输入图变成了侧脸图。

实现这个功能的，是InstantID插件。这是小红书和北大团队合作的一个AI工具，可以作为插件部署在Stable Diffusion上。（文末扫码可免费获取插件安装包）

一、instantID在本地的部署和安装

如果你的电脑显卡超过16G，甚至是24G，那么恭喜你，可以在本地安装部署。

当然了，如果只有12G，也不是不可以用，只不过不能流畅的使用全部功能。本文的换脸还是能跑得动的。

（一）WebUI

1、升级ControlNet，至少要到1.1.440版。

2、下载ControlNet使用的模型，模型分两大类。

https://www.123pan.com/s/ueDeVv-v1uI.html

（1）ControlNet模型

分别是ip-adapter_instant_id_sdxl.bin和control_instant_id_sdxl.safetensors。

下载后拷贝至extensions\sd-webui-controlnet\models，比如我的WebUI安装在E:\sd-webui，就需要拷贝至：

E:\sd-webui\extensions\sd-webui-controlnet\models

PS，也可以拷贝至

E:\sd-webui\models\ControlNet

（2）面部识别模型

共计5个，拷贝至以下目录（我的WebUI在E:\sd-webui）

E:\sd-webui\extensions\sd-webui-controlnet\annotator\downloads\insightface\models\antelopev2

（二）comfyUI

1、先在comfyUI管理器安装节点

搜索instantID，找到ZHO-ZHO-ZHO大神的插件。

然后进行安装。

这个插件需要大量的模型，这里装完只是第一步。

2、相关模型安装

（1）IP-Adapter模型

IP-Adapter是腾讯团队开发的适配器模型，能和ControlNet很好的组合使用，控制人物的姿态。

共有两个，分别是SD1.5和SDXL使用

拷贝至ComfyUI\models\instantid

ip-adapter.bin

ip-adapter_sdxl.bin

需要注意的是，有些SDXL大模型因为训练集的原因，也需要使用ip-adapter.bin，遇到报错提示时可以更换一下IP-Adapter模型。

（2）ControlNet模型

拷贝至ComfyUI\models\controlnet

control_instant_id_sdxl.safetensors

（3）人脸识别和分析模型

antelopev2模型，安装路径：ComfyUI\custom_nodes\ComfyUI_InstantID\models\antelopev2

这组模型和其他换脸插件的insightface模型是通用的，但多两个，insightface模型安装路径：ComfyUI\models\insightface

安装完这些模型，最基本的功能就可以跑起来了，如果你的显卡小于16G，就不用再装其他模型了，因为跑不动！

（4）模型下载

https://www.123pan.com/s/ueDeVv-WYuI.html

二、InstantID在WebUI下的使用

揽睿星舟内置了Instantid用的到的所有插件和模型！

我们选择SD1.7全插件版开机，启动WebUI界面后，可以直接进入配置界面开始使用。

在ControlNet的配置界面，我们需要配置两个页面。

第一个页面：

先上传需要输出的脸型原型，比如一个非常熟悉的美少女。

注意相关参数。

（1）选择启用。

（2）类型选择Instant_ID

（3）预处理器选择instant_id_face_embedding

（4）模型选择ip-adapter_instant_id_sdxl，如果模型这里为空或者报错，则需要检查是否将下载好的模型拷贝到指定位置。

第二个页面：

这里上传想要摆拍的姿势，可以不是需要换脸的画面。instantID会分析这张照片的姿势，然后把第一张的脸型按照这个姿势适配，但不是简单的换脸，除了姿势外，完全不同，相当于重新生成。

（1）注意如果你的显存不足16G，那么这里要选择低显存优化，否则会爆显存。

（2）和第一个页面一样，选择Instant_ID。

（3）预处理器选择instant_id_face_keypoints，模型选择control_instant_id_sdxl。

4、输入提示词，然后点击“生成”。

需要注意的是，提示词不要太复杂，过于复杂的提示词容易使Instant_ID失效。

比如，我输入提示词：

a girl,HDR,UHD,8K,best quality,masterpiece,ultra-fine painting,extreme detail description,Professional,summer dress,light_smile,

是不是很面熟？

再换一张姿势参考图：

提示词不变，生成如下：

好了，让我们看看一个长得很像神仙姐姐的女孩！

三、InstantID在comfyUI下的安装和使用

ComfyUI对显存的优化更好一些，因此强烈推荐在ComfyUI下使用InstantID插件。

创建基础工作流。

添加节点–InstantID–Apply InstantID。

节点创建好后，分别和大模型、采样器连接。

InstantID处，拖出Load InstantID Model，模型选择ip-adapter.bin（或ip-adapter_sdxl.bin）。

insightface处，拖出InstantID Face Analysis，建议选择CPU。

control_net处，拖出ControlNet模型，选择control_instant_id_sdxl.safetensors

image处连接加载图片，此处连接的是脸部照片。

正反提示词分别接到提示词。

image_kps处连接加载图片，此处连接的是参考姿势，如半身、侧身，生成的图片会在提示词的基础上，参考本图片的姿态。

放一张完整的工作流（基础版）。

1、一个特别像仙女姐姐的美人鱼

提示词：

1girl, underwater, afloat, soft natural lighting, orange hair, off-shoulder dress, aesthetic, film grain texture,analog photography aesthetic,visual storytelling, dynamic composition,looking at viewer,eye contact,

2、一个很像范爷的女生

提示词：

26 y.o. alt girl, eyeshadow, long eyelashes, (messy hair:0.6), film photography aesthetic, long black hair, dynamic composition, skin texture, full body, sharp focus, hard shadows

文章使用的AI绘画SD整合包、模型、InstantID插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。