AI绘画制作人像写真教程：Stable Diffusion之IPAdapter-FaceId最强使用详解，手把手教你保持人像一致性！

画画的小强

于 2024-10-10 14:05:41 发布

阅读量194

点赞数 11

文章标签： AI作画 stable diffusion 人工智能 SD教程 AI绘画 AIGC FaceID插件

本文链接：https://blog.csdn.net/A1353192296/article/details/142820123

版权

大家好，我是画画的小强

自AI绘画工具 Stable Diffusion发布以来，AI写真一直是AIGC界的热门话题。

AI写真为摄影师和艺术家提供了全新的创作工具。通过AI技术，艺术家可以轻松实现复杂的图像效果，如风格迁移、图像合成等，AI写真能够在短时间内完成传统摄影师和设计师需要耗费大量时间和精力才能实现的效果。

今天，我将介绍使用Stable Diffusion进行AI写真的方式方法，用到的工具包括 Stable Diffusion WebUI 和 ComfyUI，感兴趣的同学请耐心看完。

本文介绍使用 IP-Adapter-FaceId 进行AI写真创作的方法。这种方法使用来自面部识别模型的面孔ID嵌入，而不是CLIP图像嵌入；另外，这种方法还使用LoRA来提高ID一致性。IP-Adapter-FaceID仅凭文本提示就可以根据一张面孔生成各种风格的图像。

本次教程所用到的SD安装包和插件模型，我已经打包好了，需要的小伙伴扫描免费获取哦

完整版的AI绘画全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

效果演示

像不像先不说，我们先来看看好不好看（大家猜猜她是谁？）：

在这里插入图片描述

AI写真是利用人工智能技术生成或增强的照片。这种技术结合了计算机视觉、深度学习和图像处理等先进的算法，使得机器能够自动生成、修复、增强或编辑照片。

具体来说，目前AI写真的实现方式大概有如下几种：

使用ControlNet 插件：ControlNet为 Stable Diffusion提供了一些精细控制能力，它可以从参考图片中提取一些特征信息，比如人脸、姿势、色彩、线稿等等，然后在生成的图片中应用这些信息，从而在AI写真中达到精细的人物形象控制效果。
结合换脸技术：先使用SD、Midjourney等AI绘画工具生成若干符合场景或风格要求的人物图片，然后再使用AI换脸技术更换图片中的人物面部形象，从而实现AI写真的目的。
训练LoRA模型：LoRA本身一种模型微调技术，可以让模型在某方面的生成能力得到大幅增强。对于AI写真，我们先准备若干张目标人物或者风格的图片，然后使用工具训练出特定人物的LoRA模型，最后使用这个LoRA模型即可生成目标人物在各种场景、各种风格下的逼真图像。

为了更好的艺术效果，我们还可以使用专用的摄影模型、风格模型，搭配精细的提示词，实现特定的艺术效果。

这里以 Stable Diffusion WebUI 为例

因为 IP-Adapter-FaceId 在 SDXL算法中的效果不太好，所以本文将使用 SD 1.5 模型进行演示。

打开“文生图”页面，首先我们需要选择SD基础模型、设置提示词和负向提示。

模型下载请看文末扫描免费获取哦。

在这里插入图片描述

这几个参数我介绍下注意事项：

然后我们需要设置一些采样参数，采样器大家选择自己常用的即可，这里我使用的是 DPM++ 2M，调度器选择的是 Karras，采样步数 27，这个搭配比较适合细节优化。

在这里插入图片描述

其它参数也介绍下：

上边已经把 Stable Diffusion 的基础参数设置完了，下边开始设置 IP-Adapter-FaceId 的参数。在 Stable Diffusion WebUI 中，IP-Adapter-FaceId 基于 ControlNet 提供面部特征提取和生成控制。

在“文生图”页面下方，启用一个 ControlNet单元，上传一张参考图片（现在你应该知道效果图中是谁了），如下图所示：

在这里插入图片描述

建议每次都勾选“完美匹配像素”，这样可以让ControlNet提取的图片特征更符合生成参数中设置的图片宽度和高度。

接着我们设置 IP-Adapter 的更多参数，如下图所示：

在这里插入图片描述

控制网络类型：勾选“IP-Adapter”
预处理器：选择“ip-adapter_face_id_plus”，如果没有这个预处理器，请更新ControlNet插件到最新版本。预处理器模型需要下载，模型下载请看下方扫描免费获取哦。
模型：选择“ip-adapter-faceid-plusv2_sd15”，模型需要下载，模型下载请看下方扫描免费获取哦。
控制权重：ControlNet对生成图片的影响力，值越大生成图片越遵从ControlNet的控制，用于精细控制，一般默认即可。
控制步数：在生成图片的第几步介入和退出ControlNet控制，用于精细控制，一般默认即可。
Weight Type：高级权重参数，可以控制图片的风格和构图迁移效果，比如只迁移构图，或者只迁移风格。因为我们主要参考面部特征，所以这里使用默认的 normal 即可。