一文教会你用Stable Diffusion做个性化头像丨使用ControlNet插件和IP-Adapter模型

来看看这个简单有趣的指南吧，它会教你怎样给自己的头像加点儿创意，使用Stable Diffusion、ControlNet和IP-Adapter塑造风格化的头像，让你的头像更有特色，更有趣。所有的AI设计工具，模型和插件，都已经整理好了，文末扫码即可免费获取噢~

小麦导读

1. 前置条件

2. 验证ControlNet和IP-Adapter

3. 创建个性化头像

4. 比较不同风格的头像

5. 个性化头像的示例

1. 前置条件

在我们踏上这趟激动人心的面部肖像塑形之旅之前，先来确保你已经准备好了所需的基本条件。下面就是使用ControlNet和IP-Adapter技术的一些关键要求：

ControlNet

开始之前，最重要的一点是您需安装ControlNet扩展，它是我们的核心。

IP-Adapter面部模型

为了有效地传输和操作你的面部特征，你需要一个专为面部设计的IP-Adapter模型。

这个模型在准确展现你的面部表情和特征方面非常关键。下载地址如下：

https://huggingface.co/h94/IP-Adapter/blob/main/models/ip-adapter-plus-face_sd15.safetensors

注意:safetensors文件需要最新版本的ControlNet才能正常工作。确保您“检查更新”，并重新启动UI以更新ControlNet扩展到最新版本。

IP-Adapter的文件位置

下载“ip-adapter-plus-face_sd15.safetensors”后，您需要把它放到以下文件夹中：

stable-diffusion-webui\extensions\sd-webui-controlnet\models

完成以上这些，为顺畅地创造个性化头像奠定了基础。

2. 验证ControlNet和IP Face Adapter

现在，ControlNet扩展和IP-Adapter模型已成功安装，让我们继续验证它们在Stable Diffusion Web UI中的可见性。切换到“txt2img”或“img2img”选项卡，向下滚动时，您可以看到ControlNet扩展的展开面板。

ControlNet扩展和IP Face Adapter模型

打开此面板并选择“IP-Adapter”控制类型时，请确保可以选择“ip-adapter-plus-face_sd15”模型。

故障排除

如果由于任何原因您没有在选项中找到此模型，您可以尝试两件事:

• 点击右侧的蓝色刷新图标以更新模型。

• 如果模型仍然不可见，请仔细检查“ip-adapter-plus-face_sd15”文件的放置位置，以确保其位于第1节中提到的正确文件夹中。

当用户界面上的一切看起来都正确时，我们可以开始创建我们的第一张风格人像照了。让我们试一试!

3. 创建个性化头像

在本节中，我们将深入探讨使用ControlNet画布和IP-Adapter技术创建个性化头像的过程。

让我们执行以下操作:

ControlNet设置

• 从开始，将您首选的头像（面部的）放在ControlNet的Unit0画布上。

• 启用ControlNet，选中“Enable”复选框。

• 启用“Pixel Perfect”。

• 将“Control Type”选择为“IP-Adapter”。

• 选择“ip-adapter-plus-face_sd15”模型。

• 将ControlNet的其余设置保留为默认值。

在我们的初始示例中，我们将以安吉丽娜·朱莉为面部模特。

为了提升效果，创建一个反映传统摄影棚面部肖像的提示。

在这次的尝试中，我们继续采用ToonYou Checkpoint模型用于可爱的卡通效果。下载地址：

https://civitai.com/models/30240/toonyou

样式面部肖像示例

面部肖像提示和设置

• 正面提示

best quality, beautiful, 30 year old woman, (full face portrait:1.2), face portrait, detailed face, freckles, (facing camera), (looking into the camera), studio portrait, natural lightning, perfect shadows

• 负面提示:

(worst quality:1.2), (low quality:1.2), (lowres:1.1), (monochrome:1.1), (greyscale), multiple views, comic, sketch, (((bad anatomy))), (((deformed))), (((disfigured))), mutation hands, mutation fingers, extra fingers, missing fingers, watermark

• 采样步骤: 30

• 采样器: DPM++ 2M Karras

• **提示词相关性（**CFG Scale）: 7

• 尺寸: 512x512

• 模型: ToonYou

调整提示词

您可以根据自己的偏好定制提示词，并对生成的头像进行细微调整。例如，如果我希望安吉丽娜·朱莉有红头发和蓝眼睛，我可以在提示中包含相关关键词来获得所需的结果，如下所示:

调整后的正面提示

best quality, beautiful, 30 year old woman, (red hair:1.2), (ginger hair:1.2), (blue eyes:1.2), (full face portrait:1.2), face portrait, detailed face, freckles, (facing camera), (looking into the camera), studio portrait, natural lightning, perfect shadows

提升头像质量

如果结果没有达到您的预期，您可以使用“Hires.fix”功能增强图像质量。通常，您选择的Checkpoint会提供特定的Upscale设置建议。对于ToonYou Checkpoint，在对图像进行放大时，它建议以下设置:

• 放大器：R-ESRGAN 4x+ Anime6B

• Hires步骤：14

• 去噪强度：0.35

• 放大因子：1.5+

利用放大器可以增强图像质量，提供卓越的结果。

现在我们的初始卡通风格面部肖像已经完成，请随意尝试各种Checkpoint以获得独特的风格!

让我们深入研究一些我们最喜欢的Checkpoint，使用XYZ图。

4. 比较不同风格的头像

在本节中，我们通过使用XYZ绘图技术进行视觉探索，比较各种头像的风格。

XYZ绘图脚本

这种XYZ绘图方法作为一种快速有效的工具，用于评估不同的Checkpoint及其对我们初始头像的转换效果的影响。那么，让我们开始绘图吧。

首先，单击“Script”展开面板下的X/Y/Z绘图脚本，打开选项:

选择X/Y/Z绘图后，会出现一个面板，您可以根据需要的比较参数自定义和填充特定设置。现在是我们比较的时候了。

XYZ设置和比较

我们的比较将是不同Checkpoint模型与不同的采样方法的比较。为实现这一点，我们需要以下设置:

• 将X类型设置为“Checkpoint名称”

• 在X值处选择要比较的Checkpoint

• 将Y类型设置为“采样器”

• 在Y值中选择要比较的采样方法

您可以在下面找到我们的XYZ绘图填写的设置。

您可以灵活地包括其他Checkpoint和采样方法。此外，还可以引入另一个“Z类型”来比较其他参数。然而，对于本教程的目的，我们将按照上述方式保持不变。

比较不同模型

现在，在制作新的个性化头像时，您可以快速确定您首选的样式。

就我个人而言，我会坚持使用 ToonYou Checkpoint，因为我太喜欢这个卡通风格了。

5. 个性化头像的示例

以下是使用ToonYou Checkpoint模型创建的几个头像：

詹妮弗·劳伦斯

艾玛·斯通

结论

总结一下，我们详细了解了如何利用ControlNet扩展和专用IP-Adapter来调整个性化头像。

我们不仅研究了从基本设置到与各种Checkpoint进行的实验，还探讨了将技术与个人风格相结合的创新方法。

XYZ绘图工具的使用大大简化了风格的比较，使我们能快速看到不同样式的效果。

通过灵活调整提示词，不仅赋予了艺术创作自由，也将头像变成了个性化的视觉表达方式。

文章使用的AI绘画SD整合包、ControlNet插件和IP-Adapter模型、提示词、AI人工智能学习资料都已经打包好放在网盘中了，有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除