Stable Diffusion【ControlNet】：使用InstantID插件实现人物角色一致性

一. *InstantID介绍*

InstantID 使用 InsightFace 从参考人脸中检测、裁剪和提取人脸embedding 。然后embedding与 IP-Adapter一起使用来控制图像生成。这部分与 IP-Adapter Face ID 非常相似。不过，它还使用 ControlNet 检测并修复多个面部标志（眼睛、鼻子和嘴巴）。

结合使用IP-Adapter Face ID 和 ControlNet，可以高保真度地复制我们提供的参考图像，从而最终实现人物角色的一致性。

注意：InstantID需要使用SDXL大模型，目前还没有Stable Diffusion 1.5对应的版本。

二. *InstantID插件的安装*

首先将controlnet升级到最新的版本，最好是在V1.1.440版本及以上。

下载InstantID的IP-adapter模型。

下载地址：https://huggingface.co/InstantX/InstantID/blob/main/ip-adapter.bin

将下载的文件重命名为ip-adapter_instant_id_sdxl.bin。

下载 InstantID ControlNet模型。

下载地址：https://huggingface.co/InstantX/InstantID/blob/main

/ControlNetModel/diffusion_pytorch_model.safetensors

将下载的文件重命名为control_instant_id_sdxl.safetensors。

将上面下载下来的2个文件都放在stable-diffusion-webui > models > ControlNet文件夹目录下。具体情况大家可以按照自己的目录来。

然后重启我们的SD工具，可以看到在控制选项中多了一个Instant_ID选项，表示InstantID安装好了。

三. *InstantID插件在SD 1.5中的使用*

使用InstantID模型时需要注意一些事项：

• 大模型只能使用SDXL大模型
• 提示词引导系数 (CFG Scale)要比通常设置的参数值低（3-5）
• 需要使用2个ControlNet作为InstantID
• 减少两个ControlNet的控制权重（Control Weights）和引导终止时机（Ending Control Steps）

下面我们来具体体验一下InstantID插件的使用。

【第一步】：大模型的选择

这里我们使用Dreamshaper SDXL Turbo大模型。VAE大模型选择None。

*【第二步】：**提示词的编写***

正向提示词：

Prompt：watercolors portrait of a woman (happy laughing:1.15),masterpiece,artistry,

提示词：一个女人的水彩肖像（快乐地笑：1.15），杰作，艺术

**反向提示词：****

Prompt：low quality, blurry, malformed, distorted

提示词：低质量、模糊、畸形、扭曲

文生图相关参数设置

• 采样器：DPM++SDE Karras
• 采样迭代步数：7
• 图片宽高：1016*1016 （默认图像尺寸 1024×1024 不适用于 Instant ID。使用接近但不完全是 1024×1024 的分辨率）。
• 提示词引导系数（CFG）：2（CFG 比例必须设置得相当低，InstantID 才有效）

*【第三步】：**ControlNet插件InstantID模型设置***

需要使用两种 InstantID 模型。换句话说，需要使用两个ControlNet。

ControlNet单元0设置

第一个ControlNet主要使用InsightFace来提取人物的面部特征。

这里我们使用紫霞仙子的图片作为参考图像。

• 启用：选中
• 完美像素模式：选中
• 控件类型：Instant_ID
• 预处理器：instant_id_face_embedding
• 模型：ip-adapter_instant_id_sdxl
• 控制权重：1
• 引导介入时机：0
• 引导终止时机：1

ControlNet单元1设置

第二个ControlNet用于提取面部关键点，例如眼睛、鼻子和嘴巴的位置。您可以使用不同的图像，但建议使用相同的图像。这里我们仍然使用第一个ControlNet上传的图片。

• 启用：选中
• 完美像素模式：选中
• 控件类型：Instant_ID
• 预处理器：instant_id_face_keypoints
• 模型：control_instant_id_sdxl
• 控制权重：0.45
• 引导介入时机：0
• 引导终止时机：1

*【第四步】：生成图片*

点击【生成】按钮，最终生成的图片效果如下。

四. 图片*风格样式*

图片的风格样式是由提示词来控制。您可以使用SDXL的提示词优化图片的展示内容和背景元素。

1. 人物肖像

Prompt：high quality,masterpiece,rich details,realistic photography,8k,high-definition image quality,

portrait of a woman,(happy laughing:1.15),

提示词：高品质，杰作，细节丰富，摄影逼真，8k，高清画质，

一个女人的肖像，(快乐地的笑:1.15)，

2. 赛博朋克风格

Prompt：high quality,masterpiece,rich details,realistic photography,8k,high-definition image quality,

Cyberpunk style,portrait of a woman,(happy laughing:1.15),

提示词：高品质，杰作，细节丰富，摄影逼真，8k，高清画质，

赛博朋克风格，一个女人的肖像，(快乐的笑:1.15)，

3. 线条艺术风格

Prompt：high quality,masterpiece,rich details,realistic photography,8k,high-definition image quality,

line art style,portrait of a woman,(happy laughing:1.15),

提示词：高品质，杰作，细节丰富，摄影逼真，8k，高清画质，

线条艺术风格，一个女人的肖像，(快乐的笑:1.15)，

这里的测试示例中，我改变了原图片中的人物表情（微笑），总体来看，Instant_ID插件在实现人物换脸保持人物角色一致性上还是不错的。

好了，今天的分享就到这里了，希望今天分享的内容对大家有所帮助。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

👉[[CSDN大礼包：《StableDiffusion安装包&AI绘画入门学习资料》免费分享]]（安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

（全套教程文末领取哈）

👉AI绘画必备工具👈

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉大厂AIGC实战案例👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉12000+AI关键词大合集👈

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】