Stable Diffusion WebUI从入门到精通

前言

第三十七部分 EasyPhoto插件教程

37.1 前言

EasyPhoto 是一个集成在 Stable Diffusion Web UI 中的强大插件，专门为用户提供直观、易用的界面，用于生成和编辑高质量的 AI 人像。它的主要功能包括图像生成、模型训练、图像编辑和推理。EasyPhoto 旨在帮助用户快速创建与特定人物形象相关的数字替身，并对这些替身进行定制化的训练和优化。

对于那些希望通过 AI 生成逼真人物图像的用户，EasyPhoto 是一个理想的工具。它不仅支持从零开始训练新的模型，还能够通过已经训练好的模型生成图像。此外，EasyPhoto 提供了一系列的图像后处理选项，使得用户能够进一步微调和优化生成的图像，以满足个人或商业用途的需求。

在 EasyPhoto 中，用户可以使用自己上传的照片进行个性化训练，生成与特定形象高度相似的数字替身。这一功能特别适合用于生成虚拟形象、数字化身或定制化的 AI 艺术作品。插件还支持多人图像生成，允许在同一张图像中生成多个不同角色，极大地扩展了其应用场景。

总之，EasyPhoto 是一个功能全面且易于使用的工具，适合各种图像生成和编辑任务。无论你是 AI 艺术家、开发者，还是希望通过 AI 技术创建虚拟形象的普通用户，EasyPhoto 都能够为你提供所需的强大功能。

37.2 安装和基本使用

项目地址：

https://github.com/aigc-apps/sd-webui-EasyPhoto

我们可以通过下载后解压缩到Web UI中的Extensions文件夹中，也可以在web中通过仓库地址来下载安装。如果你是和我一样使用的启动器的WebUI，只要在"安装新扩展"中搜索**“EasyPhoto”**下载安装即可。

下载后重启WebUI，便会自动下载相关的依赖等其他文件。需要注意的是，由于EasyPhoto的使用过程涉及到调用ControlNet，所以请确保你的WebUI已安装了ControlNet插件并在设置中将ControlNet的单元数量设置为大于3。

EasyPhoto的使用一共分为两块，首先是模型训练，其次是推理生成。

我们首先需要准备一些你需要训练的照片素材（建议10-20张），我这里找了些奥黛丽赫本的照片作为我们的示范，训练的照片素材务必要人物清晰，且头像比例不能在整张照片中占比过小，如果你的素材比例偏小，可自行裁剪一下。

所有的AI设计工具，模型和插件，都已经整理好了，👇获取~

然后在SD WebUI中切换到EasyPhoto界面，点击Upload上传全部你准备好的训练素材。

然后在右侧的高级选项中选择一个模型，如果你训练的是真人照片，就选择真实系模型，否则你也可以选择二次元模型。

然后点击**“Start Training”**开始训练，并输入一个模型的名称后确定开始。

根据你显卡和电脑的性能大致花费40-80分钟左右的时间会完成训练，你会看到**“The Training has been completed”**的提示。

然后我们便可以利用这个训练的模型来进行推理生成照片。

点击**"Photo Inference"进入推理界面，我首先选择"Text2Photo"进行文生图的示范，输入提示词、选择尺寸、并选择一个真实化的Checkpoint大模型**，最关键的是在**"User_0 id"中选择你训练好的模型**（如果没有显示的话点击右侧的刷新按钮）。然后点击右侧的**“Start”**按钮就可以生成了，大概等待两三分钟的时间，便能生成一张我训练好的赫本的人物照片了。你们觉得像吗？

我们也可以切换到**"Photo2Photo"进行图生图，在"Template Gallery"菜单中可以选择模板，在"Single Image Upload"中也可以上传你指定的图片，同样需要在下面的菜单中选择一个真实化的Checkpoint大模型和你训练好的****人物模型**，点击右侧的**“Start”**按钮即可生成。

而**“Betch Images Upload”**则是图像批处理功能，我们可以批量上传照片模板，然后等待整体生成这些模板人物的照片即可。

如果你训练了多个人物模型，并且需要生成多个人物模型的模板，那我们只要在下方的**“Num of Faceid”**中选项相应的数量，并且分别选择好训练的模型后生成即可。

37.3 EasyPhoto训练原理

1.用户上传训练数据

用户首先上传一组包含人脸的照片，用于训练模型。这些照片的类型和质量可能会有所不同，但在训练开始前需要进行初步筛选和处理。

2.初筛

系统会对上传的照片进行面部 ID 验证和质量检测，筛选出面部清晰且符合要求的图像。

3.处理

选择出符合要求的照片后，系统会进行背景去除、无关元素剔除等图像预处理工作，同时进行皮肤修整，确保图像干净、清晰。

4.打标

系统会为处理后的图像集进行统一标记，以便在后续的训练中准确地识别和使用这些图像。

5.LoRA 训练

按照预设的参数和标记对图像集进行 LoRA 模型训练。LoRA（Low-Rank Adaptation） 是一种用于微调神经网络的方法，适用于模型压缩和加速。

6.面部 ID 评价与集成学习

训练过程结束后，系统会对生成的图像进行面部 ID 评价，验证生成的图像是否与目标人像相似。同时，利用集成学习方法，评估和比较不同模型的生成效果，以选出最佳的“数字分身”图像。

7.最终输出

系统会输出一个最优的用户 LoRA 模型和一张最相似的图像，用于后续的推理生成。

生成许多 LoRA: 在模型训练的过程中，系统会保存多个 LoRA 模型，以便在验证图像时生成多个版本的候选结果，进一步提高生成的准确性。

37.4 EasyPhoto推理原理

1.模板图像（或用户上传图像）

推理过程的起点是选择或上传一张作为模板的图像。这张图像将作为生成最终图像的基础，决定最终输出图像的整体布局和风格。

2.面部区域检测与选择

系统首先会对模板图像中的面部区域进行检测，并确定需要进行替换或重绘的面部区域。这个步骤的目的是准确识别图像中的人脸区域，以便后续的人脸融合处理。

3.用户 ID 匹配

系统接着会根据先前训练的 LoRA 模型，找到与模板图像中人脸特征最匹配的用户 ID。这个步骤确保了最终生成的图像与用户的外貌特征高度相似。

4.局部重绘与裁剪变形

在识别出需要替换的面部区域后，系统会对这些区域进行局部重绘，并应用必要的裁剪和变形处理，以确保面部特征与整体图像的融合自然、协调。

5.ControlNet 引导生成

在局部重绘完成后，系统会利用 ControlNet 进行引导生成。ControlNet 通过 Openpose 和 Canny 等工具进一步增强图像细节和轮廓，使生成的面部特征与背景、姿势等保持一致和自然。

6.放大处理（StableSR）

完成面部融合后，系统会使用 StableSR 对图像进行放大处理。StableSR 技术可以增强图像的细节和分辨率，使最终输出的图像更加清晰和逼真。

7.最终生成图像

推理过程的最后一步是生成并输出最终的 AI 写真图像。这个图像融合了用户的外貌特征与模板图像的整体风格，形成一张高质量的数字作品。

37.5 训练和推理的优化

训练参数优化

首先，我们可以调高最大训练步数、单张照片训练步数和训练批次这三项的值来获得更好的训练效果。当然更多的训练步数意味着更长的训练时间，大家可以酌情调试。如果设置单张照片训练步数为200，你有10张照片，那最大训练步数应该设置为2000，如果低于这个数值，比如800，那就会在训练到第4张照片时候就完成训练了。如果你的显存为16G或更多，那可以考虑增加训练批次，让训练次数增加的同时减少训练时间，提高训练效率。

所有参数信息说明如下：

The Type of Lora

说明: 选择要训练的 LoRA 模型的类型。

The base checkpoint you use

说明: 选择基础模型的检查点文件，该文件将作为训练的起点。

resolution

说明: 训练过程中使用的图像分辨率，默认为 512。分辨率越高，图像细节越多，但训练时间也会增加。

validation & save steps

说明: 每隔多少步进行一次验证并保存中间结果。默认值为 100。

max train steps

说明: 模型训练的最大步数。默认值为 800。

max steps per photo

说明: 每张照片的最大训练步数。控制每张图片在训练过程中的训练量。

train batch size

说明: 每次训练的批次大小，表示在一次训练步骤中处理的图像数量。默认值为 1。

gradient accumulation steps

说明: 梯度累积的步数，用于在减少显存使用的同时保持训练稳定性。默认值为 4。

dataloader num workers

说明: 数据加载器的工作线程数量。更多的工作线程通常可以加快数据加载速度。默认为 16。

learning rate

说明: 学习率，控制模型权重更新的步幅大小。较小的学习率可以使模型训练更稳定。默认值为 0.0001。

rank

说明: LoRA 模型的 rank 值，控制模型的压缩程度。较大的值保留更多细节，但也需要更多计算资源。默认值为 128。

network alpha

说明: 网络的 alpha 值，控制 LoRA 模型在训练中的正则化参数，通常为 rank 值的一半。默认值为 64。

Validation

说明: 是否在训练过程中进行验证，勾选此选项后，模型会定期验证其性能。

Enable RL (Reinforcement Learning)

说明: 是否启用强化学习模式，目前此选项未选中，表示不使用强化学习。

Train Skin Retouching

说明: 是否在训练时进行皮肤修饰处理。如果勾选此选项，模型会在训练数据中应用皮肤修饰预处理。

训练样本优化

比起训练参数的优化，训练样本的优化则更为重要，也就是我们喂给AI的训练图片质量一定要符合要求，才能产生更好的训练效果。训练的照片并不是越多越好，要求精不求多。

人物清晰、光线良好、照片的分辨率尽可能高。

人物的脸部一定要在整张照片中有较高的占比，如果占比不够多，请自行裁剪后再上传。

人物的脸部一定要完整，千万不要使用半张脸，或者有遮挡的照片作为训练样本。

尽可能包含多种角度的照片，比如侧脸、抬头、低头等其他角度，并且有丰富的表情，比如严肃、微笑、大笑、悲伤。

如果人物戴眼镜，请务必同时提供不戴眼镜的照片加入训练样本。

最好的方案一定是现拍各种角度的照片，这样训练出的效果一定比你四处搜寻历史照片效果要好。

训练底模的选择

选择训练底模时候，首先要根据你训练样本的风格来选择匹配的大模型，其次尽可能选择适用范围更广的大模型，如果你想训练的是一个男生，但你选择了个小众化的女性特定大模型，那生成出来的照片肯定不会像了。

推理优化

在推理界面中，我们可以展开高级选项对参数进行调整，从而实现生图过程的一系列优化。

在高级选项中有额外的正向和反向提示词，我们可以在这里输入关于面部质量的提示词，比如_"masterpiece,close-up,portrait,detailed face,delicate face,true skin texture"等。也可以输入性别特征的提示词，比如"1boy,1man,male focus,handsome"。也可以输入五官特征的提示词，比如"eyes open,eyes closed,smiling,young"_。反向提示词中输入我们的起手式即可。

下方默认勾选的参数选项，不建议取消勾选。如果你希望生成的图像速度更快，对图像的分辨率要求不高，可以取消勾选_“Super Resolution at last”_。上方人脸融合的一系列滑块则代表了人物脸部和原图融合的程度，可以进行调整，会有细微的变化。

勾选_“Display Face Similarity Scores”_选项则会在生成图片的同时显示其参照的原始样本图，并显示相似度得分。

勾选_“Background Restore”_选项则会对背景也进行重绘，调整背景的重绘幅度并且在正向提示词中输入关于背景的描述，可以对背景进行不同程度的重绘。

底图优化

通过图生图进行重绘，那底图的质量也是不可忽视的环节，当底图人物的轮廓、脸型、肤色和你的模型本身不匹配时，生成的人物自然也会不像。所以在选择底图时尽可能选择和模型人物脸型匹配的照片作为底图。

如果你经常通过文生图进行人物的生成，那不同风格的提示词会带来不同的生成效果，提示词举例：

高清摄影作品：

best quality,masterpiece,(photorealistic:1.2),35mm photograph,prodessional,4k,highly detailed

电影感：

cinematic photo,cinematic light,film,depth of field,blurry background,bokeh,gloom

唯美写真：

soft light,warm color,light leak,film photography,old-school 35mm film,filmg

艺术摄影：

beautiful and arthetic,vivid color,dramatic lights,dynamic angle,romanticism,multicolored background

如果你希望生成一些特定形式的照片，也可以在推理时加入一些Lora模型。

这里直接将该软件分享出来给大家吧~

1.stable diffusion安装包

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.SD从0到落地实战演练

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的stable diffusion资料我已经打包好，需要的点击下方插件，即可前往免费领取！