一文教会你用Stable Diffusion做个性化头像丨使用ControlNet插件和IP-Adapter模型

本文链接：https://blog.csdn.net/m0_59162559/article/details/144129705

来看看这个简单有趣的指南吧，它会教你怎样给自己的头像加点儿创意，使用Stable Diffusion、ControlNet和IP-Adapter塑造风格化的头像，让你的头像更有特色，更有趣。所有的AI设计工具，模型和插件，都已经整理好了，文末扫码即可免费获取噢~

小麦导读

前置条件
验证ControlNet和IP-Adapter
创建个性化头像
比较不同风格的头像
个性化头像的示例

1. 前置条件

在我们踏上这趟激动人心的面部肖像塑形之旅之前，先来确保你已经准备好了所需的基本条件。下面就是使用ControlNet和IP-
Adapter技术的一些关键要求：

ControlNet

开始之前，最重要的一点是您需安装ControlNet扩展，它是我们的核心。

IP-Adapter面部模型

为了有效地传输和操作你的面部特征，你需要一个专为面部设计的IP-
Adapter模型。

这个模型在准确展现你的面部表情和特征方面非常关键。下载地址如下：

https://huggingface.co/h94/IP-Adapter/blob/main/models/ip-adapter-plus-
face_sd15.safetensors

注意:safetensors文件需要最新版本的ControlNet才能正常工作。确保您“检查更新”，并重新启动UI以更新ControlNet扩展到最新版本。

IP-Adapter的文件位置

下载“ip-adapter-plus-face_sd15.safetensors”后，您需要把它放到以下文件夹中：

stable-diffusion-webui\extensions\sd-webui-controlnet\models

完成以上这些，为顺畅地创造个性化头像奠定了基础。

2. 验证ControlNet和IP Face Adapter

现在，ControlNet扩展和IP-Adapter模型已成功安装，让我们继续验证它们在Stable Diffusion Web
UI中的可见性。切换到“txt2img”或“img2img”选项卡，向下滚动时，您可以看到ControlNet扩展的展开面板。

ControlNet扩展和IP Face Adapter模型

打开此面板并选择“IP-Adapter”控制类型时，请确保可以选择“ip-adapter-plus-face_sd15”模型。

故障排除

如果由于任何原因您没有在选项中找到此模型，您可以尝试两件事:

点击右侧的蓝色刷新图标以更新模型。
如果模型仍然不可见，请仔细检查“ip-adapter-plus-face_sd15”文件的放置位置，以确保其位于第1节中提到的正确文件夹中。

当用户界面上的一切看起来都正确时，我们可以开始创建我们的第一张风格人像照了。让我们试一试!

3. 创建个性化头像

在本节中，我们将深入探讨使用ControlNet画布和IP-Adapter技术创建个性化头像的过程。

让我们执行以下操作:

ControlNet设置

从开始，将您首选的头像（面部的）放在ControlNet的Unit0画布上。
启用ControlNet，选中“Enable”复选框。
启用“Pixel Perfect”。
将“Control Type”选择为“IP-Adapter”。
选择“ip-adapter-plus-face_sd15”模型。
将ControlNet的其余设置保留为默认值。

在我们的初始示例中，我们将以安吉丽娜·朱莉为面部模特。

为了提升效果，创建一个反映传统摄影棚面部肖像的提示。

在这次的尝试中，我们继续采用ToonYou Checkpoint模型用于可爱的卡通效果。下载地址：

https://civitai.com/models/30240/toonyou

样式面部肖像示例

面部肖像提示和设置

正面提示

best quality, beautiful, 30 year old woman, (full face portrait:1.2), face
portrait, detailed face, freckles, (facing camera), (looking into the camera),
studio portrait, natural lightning, perfect shadows

负面提示 :

(worst quality:1.2), (low quality:1.2), (lowres:1.1), (monochrome:1.1),
(greyscale), multiple views, comic, sketch, (((bad anatomy))), (((deformed))),
(((disfigured))), mutation hands, mutation fingers, extra fingers, missing
fingers, watermark

采样步骤 : 30
采样器 : DPM++ 2M Karras
提示词相关性（ CFG Scale） : 7
尺寸 : 512x512
模型 : ToonYou

调整提示词

您可以根据自己的偏好定制提示词，并对生成的头像进行细微调整。例如，如果我希望安吉丽娜·朱莉有红头发和蓝眼睛，我可以在提示中包含相关关键词来获得所需的结果，如下所示:

调整后的正面提示

best quality, beautiful, 30 year old woman, (red hair:1.2), (ginger hair:1.2),
(blue eyes:1.2), (full face portrait:1.2), face portrait, detailed face,
freckles, (facing camera), (looking into the camera), studio portrait, natural
lightning, perfect shadows