【Stable Diffusion初学者指南】修复初学者指南

无论你的提示和模型有多好，一次性获得完美图像的情况都很少见。
修补是修复小缺陷不可或缺的方法。在这篇文章中，我将介绍一些使用修复来修复缺陷的基本示例。
如果您不熟悉 AI 图像，您可能需要先阅读初学者指南。

这是初学者指南系列的第 3 部分。
阅读第 1 部分：如何使用Stable Diffusion
阅读第 2 部分：提出良好的提示
阅读第 4 部分：模型指南

图像模型和GUI

我们将使用Stable Diffusion模型 和 AUTOMATIC1111 GUI，如果您还没有部署Stable Diffusion，请查看我之前的博客，您可以在云上部署Stable Diffusion：
亚马逊云：【全网最简单】基于Amazon EC2 linux快速部署 Stable Diffusion WebUI
阿里云：【阿里云】使用EAS一键部署Stable Diffusion AIGC绘画

如果您有合适的 PC， PC安装了高性能的显卡，在您的 PC 上运行它也是一个不错的选择。你可以在自己的PC上安装秋叶大神的
整合包：Stable Diffusion整合包v4.6发布

基本修复设置

在本节中，我将逐步向您展示如何使用修复来修复小缺陷。
我将使用如下提示：

[emma watson: amber heard: 0.5], (long hair:0.5), headLeaf, wearing stola, vast roman palace, large window, medieval renaissance palace, ((large room)), 4k, arstation, intricate, elegant, highly detailed
(Detailed settings can be found here.)

原图
这是一个很好的图像，但我想解决以下问题 - 脸看起来不自然。 - 右臂不见了。

使用修复模型（可选）

您知道有一个用于修复训练的Stable Diffusion模型吗？如果您想获得最佳结果，可以使用它。但通常情况下，可以使用生成图像的相同模型进行修复。

要安装v1.5修复模型，请下载模型检查点文件并将其放入文件夹中

stable-diffusion-webui/models/Stable-diffusion

在 AUTOMATIC1111 中，按左上角检查点选择下拉框旁边的刷新图标。选择sd-v1-5-inpainting.ckpt启用该模型。

创建修复蒙版

在 AUTOMATIC1111 GUI 中，选择img2img选项卡，然后选择Inpaint子选项卡。将图像上传到修复画布。

我们将同时修复右臂和脸部。使用画笔工具创建蒙版。这是您需要稳定扩散来重新生成图像的区域。

使用画笔工具创建蒙版

修复设置

Prompt

您可以重复使用原始提示来修复缺陷。这就像生成多个图像，但仅在特定区域中。

Image size

需要将图像尺寸调整为与原始图像相同。（在本例中为 704 x 512）。

Face restoration

如果您要修复脸部，则可以打开“恢复脸部”。您还需要在“设置”选项卡中选择并应用要使用的面部修复模型。CodeFormer是一款不错的软件。
请注意，此选项可能会产生不自然的外观。它还可能生成一些与模型风格不一致的东西。

Mask content

下一个重要设置是Mask Content。

如果您希望结果以原始内容的颜色和形状为指导，请选择原始。原件经常在修复脸部时使用，因为一般形状和解剖结构都还可以。我们只是想让它看起来有点不同。

在大多数情况下，您将使用原始并更改降噪强度来实现不同的效果。

如果您想重新生成与原始内容完全不同的东西，例如移除肢体或隐藏手，则可以使用潜在噪声或潜在无内容。这些选项使用原始图像以外的其他内容初始化遮罩区域。它会产生完全不同的东西。

Denoising strength

去噪强度控制与原始图像相比会产生多少变化。当您将其设置为 0 时，不会发生任何变化。当您将其设置为 1 时，您将得到不相关的修复。

0.75 通常是一个很好的起点。如果你想减少改变，就减少。

Batch size

确保一次生成一些图像，以便您可以选择最好的图像。将种子设置为 -1，以便每个图像都不同。

设置	参数
Prompt	(Same as original)
Sampling steps	20
Seed	-1
Image size	704 x 512
Face restoration	Codeformer
Sampling method	Euler a
Model	Stable Diffusion v1.5 inpainting
Mask content	latent noise or latent nothing
Inpaint at full resolution	On
Denoising strength	0.75

修复结果

以下是一些修复后的图像。

又一轮修补

我喜欢最后一个，但新修补的手臂下面多了一只手。按照上传此图像和创建蒙版的类似步骤进行操作。屏蔽内容必须设置为潜在噪声才能生成完全不同的内容。

第二轮修复将腋下的手去除：

这是我的最终形象。

左：原始。右：修补2次。
修复是一个迭代过程。您可以根据需要多次应用它来优化图像。

添加新对象

有时您想向图像添加一些新内容。
让我们尝试在图片中添加一把手扇。
首先，将图像上传到修复画布，并在胸部和右臂周围创建一个遮罩。
在原提示的开头添加“拿着手扇”的提示。修复的提示是：

(holding a hand fan: 1.2), [emma watson: amber heard: 0.5], (long hair:0.5), headLeaf, wearing stola, vast roman palace, large window, medieval renaissance palace, ((large room)), 4k, arstation, intricate, elegant, highly detailed

将masked content设置为latent noise。
调整denoising strength和CFG scale 以微调修复图像。
经过一些实验，我们的任务完成了：

添加带有修复功能的手扇。

修复参数说明

Denoising strength
Denoising strength控制最终图像应尊重原始内容的程度。将其设置为 0 不会改变任何内容。设置为 1 你会得到一张不相关的图像。

CFG scale
与text-to-image中的用法类似，Classifier Free Guidance scale是一个参数，用于控制模型应尊重您的提示的程度。
1 – 大多忽略您的提示。
3 – 更有创意。
7 – 遵循提示和自由之间的良好平衡。
15 – 更加遵守提示。
30 – 严格按照提示操作。

Masked content
Masked content控制屏蔽区域的初始化方式。

• 填充：使用高度模糊​​的原始图像进行初始化。
• 原始：未修改。
• 潜在噪声：用填充初始化的屏蔽区域，并将随机噪声添加到潜在空间。
• Latent zero：类似于潜在噪声，只是没有噪声添加到潜在空间中。

以下是任何采样步骤之前的初始掩模内容。这让您对它们是什么有一些了解。

修补技巧

成功的修复需要耐心和技巧。这里有一些带回家使用修复的方法

• 一次一小块区域。
• 将蒙版内容保持为原始状态并调整降噪强度在 90% 的情况下都有效。
• 尝试使用Masked content，看看哪一个效果最好。
• 如果AUTOMATIC1111 的设置中没有任何效果，请使用 Photoshop 或 GIMP等照片编辑软件以您想要的粗略形状和颜色绘制感兴趣的区域。上传该图像并用原始内容进行修复。

这是初学者指南系列的第 3 部分。
阅读第 1 部分：如何使用Stable Diffusion
阅读第 2 部分：提出良好的提示
阅读第 4 部分：模型指南