[AIGC] 通过Stable Diffusion生成一致人脸的 5 种方法

英文原文：https://stable-diffusion-art.com/consistent-face/

您是否正在寻找通过 Stable Diffusion 在多个图像中生成一致面部的方法？您可能正在制作故事书或漫画的插图。在这篇文章中，您将找到 3 种生成一致面孔的方法。

1. 多个名人名字
2. ReActor 扩展
3. Dreambooth
4. LoRA
5. ControlNet IP adapter face

软件

我们将使用 AUTOMATIC1111 稳定扩散 GUI。您可以在 Windows、Mac 或 Google Colab 上使用此 GUI。

如果您是Stable Diffusion的新手，请查看快速入门指南。

方法一、多个名人名字

使用名人的名字是产生一致面孔的可靠方法。让我们研究下面的基本提示，它会生成一张通用的面孔。

基础提示：

photo of young woman, highlight hair, sitting outside restaurant, wearing dress, rim lighting, studio lighting, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores

我们将在本文的其余部分使用相同的否定提示。

disfigured, ugly, bad, immature, cartoon, anime, 3d, painting, b&w

他们都是漂亮的面孔，但又不同。有时您想要在多个图像中生成同一张脸。

正如我们在提示指南中所研究的那样，名人的名字具有强大的影响力。使用它们是生成一致面孔的行之有效的方法。

让我们在稳定扩散中添加一个响亮的名字——Emma Waston，到提示符中。

Emma Watson, photo of young woman, highlight hair, sitting outside restaurant, wearing dress, rim lighting, studio lighting, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores

我们在所有图像中都有Emma。

但是，如果您不想要任何可识别面孔的图像怎么办？您只需要多张图像中的通用面孔。有一种技术可以做到这一点。您可以使用多个名人的名字将他们的面孔融合成一张一致的面孔。

让我们使用这三个名字：艾玛·沃特森、塔拉·里德和安娜·德·阿玛斯。稳定扩散会将所有 3 个面混合在一起形成一个新面。

Emma Watson, Tara Reid, Ana de Armas, photo of young woman, highlight hair, sitting outside restaurant, wearing dress, rim lighting, studio lighting, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores

那挺好的。这些图像中的脸部是一致的。但为什么他们看起来那么……艾玛？原因是艾玛·沃特森是《稳定扩散》中一个非常强的关键词。你必须使用关键词权重来降低她的关注度。在 AUTOMATIC1111 中，您可以使用语法（关键字：权重）对关键字应用权重。

调整每个名字的权重可以让你调整面部特征。我们看到提示：

(Emma Watson:0.5), (Tara Reid:0.9), (Ana de Armas:1.2), photo of young woman, highlight hair, sitting outside restaurant, wearing dress, rim lighting, studio lighting, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores

看到这张脸在图像中重复出现！

使用多个名人名字和关键词权重来仔细调整您想要的面部特征。您还可以在否定提示中使用名人名字，以避免出现您不想要的面部特征。

尝试多个名人 LoRAs 来实现相同的目标。

方法2：ReActor

AUTOMATIC1111 的 ReActor 扩展可让您将参考照片中的脸部复制到使用稳定扩散生成的图像中。它是 Roop 扩展的一个分支。

安装 ReActor 扩展

Windows 或 Mac

按照以下步骤在 AUTOMATIC1111 中安装 ReActor 扩展。

1. 正常启动 AUTOMATIC1111 Web-UI。
2. 导航至扩展程序页面。
3. 单击“从 URL 安装”选项卡。
4. 在扩展程序 git 存储库的 URL 字段中输入以下 URL。

https://github.com/Gourieff/sd-webui-reactor

5. 等待安装完成的确认消息。
6. 重新启动 AUTOMATIC1111。

使用 ReActor 生成新图像

我们将使用文本到图像来生成新图像。

photo of a 25 year old woman, new york city standing, skirt, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores

disfigured, ugly, bad, immature, cartoon, anime, 3d, painting, b&w

模型: dreamshaperXL_turboDpmppSDE

要使用 ReActor 启用面部交换，请向下滚动到 ReActor 部分。

Enable: Yes

将包含您想要的脸部的图像上传到单一源图像。

这是结果。现在您可以从所有图像中获得同一张脸！

使用 ReActor 的技巧

使用清晰的高分辨率图像作为参考脸部。

方法三：Dreambooth

也许生成相同面孔的最可靠方法是使用 Dreambooth 创建您自己的 Stable Diffusion 模型。

Dreambooth 是一种用您自己的主题或风格创建新的Stable Diffusion检查点模型的技术。在这种情况下，对象将是具有您想要的面孔​​的人。

请点击此链接查找分步教程。您将需要该人的一些图像。

收集训练图像可能是一个挑战。这里有几个选项。

1. 请求您认识的人允许使用他/她的照片。
2. 拍一些自拍照。
3. 使用上面的多名人名字方法来生成训练图像。
4. 使用上面的ReActor方法生成训练图像。

我们将使用 ReActor 生成训练图像。

第 1 步：使用 ReActor 生成训练图像

按照上一节的说明，使用 ReActor 生成 8 到 15 张具有相同脸部的图像。以下是训练图像的两个示例。使用模糊图像就可以了。

Training image #1

Training image #2

第 2 步：使用 Dreambooth 训练新的检查点模型

按照 Dreambooth 教程 并下载 Dreambooth 训练 Colab 笔记本。

由于我们想要训练具有逼真风格的模型，因此我们将使用 Realistic Vision v2。

MODEL_NAME:

SG161222/Realistic_Vision_V2.0

BRANCH:

main

你的新女孩将被称为 zwx，这是稳定扩散中罕见但现有的标记。由于zwx是女性，所以实例提示是

photo of zwx woman

class就是zwx所属的类别，就是女人。所以class prompt是

photo of woman

通过正确定义类提示，您可以利用模型中女性的所有先验属性并将其应用到您的女孩身上。

按“Play”按钮开始训练。

出现提示时上传训练图像。

这需要一些时间。如果一切顺利，新的模型文件将被保存到指定的输出文件名中。

第 3 步：使用模型

您可以使用 AUTOMATIC1111 Colab notebook方便地测试您的新模型。如果您不更改两个笔记本的默认路径，则可以加载 dreambooth 模型。

在 AUTOMATIC1111 的检查点下拉菜单中选择新的 dreambooth 模型。

现在用你女孩的名字 zwx 进行测试：

photo of young zwx woman, highlight hair, sitting outside restaurant, wearing dress, rim lighting, studio lighting, looking at the camera, dslr, ultra quality, sharp focus, tack sharp, dof, film grain, Fujifilm XT3, crystal clear, 8K UHD, highly detailed glossy eyes, high detailed skin, skin pores

现在，每次使用关键字 zwx 时，您都会获得一致且锐利的面孔！

您还可以以不同的风格生成此人。

oil painting of zwx young woman, highlight hair

disfigured, ugly, bad, immature, b&w, frame

方法4：LoRA

LoRA模型是一个用于修改检查点模型的小补丁文件。您可以采用与 Dreambooth 类似的方式训练 LoRA 模型。请参阅本教程以获取分步指南和 Colab 笔记本。

Andy Lau 使用定制训练的 LoRA 模型生成。

方法 5：ControlNet IP-adapter face

ControlNet 是一种神经网络模型，旨在与稳定扩散模型一起使用来影响图像生成。用户通常使用 ControlNet 从参考图像复制构图或人体姿势。但你知道有一个用于复制人脸的 ControlNet 吗？它被称为 IP-adapter face 模型。

安装 IP 适配器 plus 脸部模型

1. 确保您的 A1111 WebUI 和 ControlNet 扩展是最新的。
2. 下载 ip-adapter-plus-face_sd15.bin 并将其放入 stable-diffusion-webui > models > ControlNet 中。
3. 将文件扩展名从 .bin 重命名为 .pth。 （即文件名应为 ip-adapter-plus-face_sd15.pth）

使用 IP 适配器加面部模型

要使用 IP 适配器面部模型复制面部，请转至 ControlNet 部分并上传头像图像。

重要的 ControlNet 设置：

• Enable: Yes
• Preprocessor: ip-adapter_clip_sd15
• Model: ip-adapter-plus-face_sd15

控制权重应约为 1。您可以使用多个 IP 适配器面对 ControlNet。确保相应地调整控制权重，使其总和为 1。

提示词：

A woman sitting outside of a restaurant in casual dress

负面提示词：

ugly, deformed, nsfw, disfigured