AI写真教程：Stable Diffusion 之 InstantID

上一篇介绍了使用 IPAdapter-FaceId 进行AI写真创作的方法，反响不错，还没看过的同学可以点击这个链接前往：

AI写真教程：Stable Diffusion 之 IPAdapter-FaceId

但是 IPAdapter-FaceId 目前只在 SD 1.5 模型上表现较好，SDXL 模型上的表现较差，不能用于实际生产。可是很多同学已经在使用SDXL了，而且SDXL确实整体上出图效果更好，怎么办？

这篇文章就来给大家介绍一个在SDXL中创作AI写真的稳定方法：使用 InstanID。

InstantID，翻译为身份标识，这是一个ControlNet模型，其核心能力是由国内的小红书团队开发的。InstantID可以提取人物的面部信息，然后在生成的人物图片中使用此面部。只需要人物的一张正面照片，就可以生成此人物的多种风格图片，正适合来搞AI写真。

效果展示

废话不多说，还是先看效果（大家可以猜猜此人是谁，文中会揭晓答案）：

更多带生成参数的图片下载请看文末。

安装方法

之前我介绍过 InstantID的安装方法，请看这篇文章：

Stable Diffusion基础：ControlNet之身份标识

使用InstantID

这里以 Stable Diffusion WebUI 为例，ComfyUI 的使用示例见下文。

因为 InstantID 仅能在 SDXL 模型下使用，所以本文将使用 SDXL 模型进行演示。

基本设置

打开“文生图”页面，首先我们需要选择SD基础模型（模型下载方式见文末）、设置提示词和负向提示词。

然后我们简单设置下生成参数，如下图所示。

你可以直接使用我这几个参数的值，简单介绍下：

1、采样器：DPM++系列在在采样质量和效率上都比较高，是目前效果最优秀的反向扩散采样算法之一。

2、调度类型：用于控制采样过程中的噪声水平 ，这是 WebUI 1.9.0 之后从采样器分离出来的参数，可以单独设置，使用更灵活。Karras 噪声计划在初始采样步骤中的噪音水平较高，而在结尾采样步骤中的噪音水平较低，实验表明这样有助于提高生成图片的质量。

3、采样步数：一般设置为20-30，可根据具体效果调整。

4、使用SDXL模型时，宽度和高度需要设置为1024以上，这里是一张垂直图，比例为3:4。

5、生成次数和每次数量：一次多生成几张，方便选择。生成次数是独立的生成几次，消耗时间根据次数加倍；每次数量是单次生成内的输出图片数量，比较消耗显存。

6、提示词引导系数：对于InstantID，不要设置的太高，3-5最佳，根据实际情况选择。

7、图像生成种子：-1代表随机数，每次生成都会产生新的变化。

ControlNet设置

InstantID 是通过 ControlNet 发挥作用的，我们重点看下相关设置。

这里需要两个 ControlNet，一个用于控制面部特征，另一个用于控制面部姿势。

先看第一个ControlNet，上传一张参考图片，勾选“启用”和“完美匹配像素”。“完美匹配像素”用于控制从参考图片中提取的特征信息的分辨率，以更加匹配生成图片的尺寸，无脑勾选就是了。

“控制网类型”勾选Instant-ID，注意第一个ControlNet中的预处理器和模型选择，需要是：instant_id_face_embedding 和 ip-adapter_instant_id_sdxl，它们用于提取参考人物的面部特征，并应用到生成图片中。其它参数默认即可。

再来看第2个ControlNet，它是用来控制生成图片中人物的面部姿势的。我们可以选择其它人物的图片，这不会影响面部特征的控制，仅影响人物的头部姿势。注意不是人物整体的姿势，当然人物的头部姿势也会对整体的姿势产生一定的影响。

注意这里的三个参数：

预处理器：instant_id_face_keypoints，脸部的关键点，或者说面部姿势。

模型：control_instant_id_sdxl。

控制模式：以ControlNet为主，不选这个生成图片的线条会比较粗糙。

最后，我们只要点击“生成”，静待写真图生成就好了。

使用ComfyUI工作流

我在 ComfyUI 中也测试了 InstantID 的生成效果，制作了两个工作流，一个和WebUI中的能力类似，另一个还结合了IPAdapter，可以提取参考图片的风格。

在 ComfyUI 中使用 InstantID 时，需要安装一些插件，主要就是这个：

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】