【Stable Diffusion初学者指南】修复初学者指南


无论你的提示和模型有多好,一次性获得完美图像的情况都很少见。
修补是修复小缺陷不可或缺的方法。在这篇文章中,我将介绍一些使用修复来修复缺陷的基本示例。
如果您不熟悉 AI 图像,您可能需要先阅读初学者指南。

这是初学者指南系列的第 3 部分。
阅读第 1 部分:如何使用Stable Diffusion
阅读第 2 部分:提出良好的提示
阅读第 4 部分:模型指南

图像模型和GUI

我们将使用Stable Diffusion模型 和 AUTOMATIC1111 GUI,如果您还没有部署Stable Diffusion,请查看我之前的博客,您可以在云上部署Stable Diffusion:
亚马逊云:【全网最简单】基于Amazon EC2 linux快速部署 Stable Diffusion WebUI
阿里云:【阿里云】使用EAS一键部署Stable Diffusion AIGC绘画

如果您有合适的 PC, PC安装了高性能的显卡,在您的 PC 上运行它也是一个不错的选择。你可以在自己的PC上安装秋叶大神的
整合包:Stable Diffusion整合包v4.6发布

基本修复设置

在本节中,我将逐步向您展示如何使用修复来修复小缺陷。
我将使用如下提示:

[emma watson: amber heard: 0.5], (long hair:0.5), headLeaf, wearing stola, vast roman palace, large window, medieval renaissance palace, ((large room)), 4k, arstation, intricate, elegant, highly detailed
(Detailed settings can be found here.)

在这里插入图片描述

原图

这是一个很好的图像,但我想解决以下问题 - 脸看起来不自然。 - 右臂不见了。

使用修复模型(可选)

您知道有一个用于修复训练的Stable Diffusion模型吗?如果您想获得最佳结果,可以使用它。但通常情况下,可以使用生成图像的相同模型进行修复。

要安装v1.5修复模型,请下载模型检查点文件并将其放入文件夹中

stable-diffusion-webui/models/Stable-diffusion

在 AUTOMATIC1111 中,按左上角检查点选择下拉框旁边的刷新图标。选择sd-v1-5-inpainting.ckpt启用该模型。
在这里插入图片描述

创建修复蒙版

在 AUTOMATIC1111 GUI 中,选择img2img选项卡,然后选择Inpaint子选项卡。将图像上传到修复画布。
在这里插入图片描述
我们将同时修复右臂和脸部。使用画笔工具创建蒙版。这是您需要稳定扩散来重新生成图像的区域。
在这里插入图片描述

使用画笔工具创建蒙版

修复设置

Prompt

您可以重复使用原始提示来修复缺陷。这就像生成多个图像,但仅在特定区域中。

Image size

需要将图像尺寸调整为与原始图像相同。(在本例中为 704 x 512)。

Face restoration

如果您要修复脸部,则可以打开“恢复脸部”。您还需要在“设置”选项卡中选择并应用要使用的面部修复模型。CodeFormer是一款不错的软件。
请注意,此选项可能会产生不自然的外观。它还可能生成一些与模型风格不一致的东西。

Mask content

下一个重要设置是Mask Content。

如果您希望结果以原始内容的颜色和形状为指导,请选择原始。原件经常在修复脸部时使用,因为一般形状和解剖结构都还可以。我们只是想让它看起来有点不同。

在大多数情况下,您将使用原始并更改降噪强度来实现不同的效果。

如果您想重新生成与原始内容完全不同的东西,例如移除肢体或隐藏手,则可以使用潜在噪声或潜在无内容。这些选项使用原始图像以外的其他内容初始化遮罩区域。它会产生完全不同的东西。

Denoising strength

去噪强度控制与原始图像相比会产生多少变化。当您将其设置为 0 时,不会发生任何变化。当您将其设置为 1 时,您将得到不相关的修复。

0.75 通常是一个很好的起点。如果你想减少改变,就减少。

Batch size

确保一次生成一些图像,以便您可以选择最好的图像。将种子设置为 -1,以便每个图像都不同。

设置参数
Prompt(Same as original)
Sampling steps20
Seed-1
Image size704 x 512
Face restorationCodeformer
Sampling methodEuler a
ModelStable Diffusion v1.5 inpainting
Mask contentlatent noise or latent nothing
Inpaint at full resolutionOn
Denoising strength0.75

修复结果

以下是一些修复后的图像。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

又一轮修补

我喜欢最后一个,但新修补的手臂下面多了一只手。按照上传此图像和创建蒙版的类似步骤进行操作。屏蔽内容必须设置为潜在噪声才能生成完全不同的内容。

第二轮修复将腋下的手去除:
在这里插入图片描述

这是我的最终形象。
并排比较

左:原始。右:修补2次。

修复是一个迭代过程。您可以根据需要多次应用它来优化图像。

添加新对象

有时您想向图像添加一些新内容。
让我们尝试在图片中添加一把手扇。
首先,将图像上传到修复画布,并在胸部和右臂周围创建一个遮罩。
在原提示的开头添加“拿着手扇”的提示。修复的提示是:

(holding a hand fan: 1.2), [emma watson: amber heard: 0.5], (long hair:0.5), headLeaf, wearing stola, vast roman palace, large window, medieval renaissance palace, ((large room)), 4k, arstation, intricate, elegant, highly detailed

将masked content设置为latent noise。
调整denoising strength和CFG scale 以微调修复图像。
经过一些实验,我们的任务完成了:
在这里插入图片描述

添加带有修复功能的手扇。

修复参数说明

Denoising strength
Denoising strength控制最终图像应尊重原始内容的程度。将其设置为 0 不会改变任何内容。设置为 1 你会得到一张不相关的图像。
在这里插入图片描述

CFG scale
与text-to-image中的用法类似,Classifier Free Guidance scale是一个参数,用于控制模型应尊重您的提示的程度。
1 – 大多忽略您的提示。
3 – 更有创意。
7 – 遵循提示和自由之间的良好平衡。
15 – 更加遵守提示。
30 – 严格按照提示操作。

Masked content
Masked content控制屏蔽区域的初始化方式。

  • 填充:使用高度模糊​​的原始图像进行初始化。
  • 原始:未修改。
  • 潜在噪声:用填充初始化的屏蔽区域,并将随机噪声添加到潜在空间。
  • Latent zero:类似于潜在噪声,只是没有噪声添加到潜在空间中。

以下是任何采样步骤之前的初始掩模内容。这让您对它们是什么有一些了解。
在这里插入图片描述

修补技巧

成功的修复需要耐心和技巧。这里有一些带回家使用修复的方法

  • 一次一小块区域。
  • 将蒙版内容保持为原始状态并调整降噪强度在 90% 的情况下都有效。
  • 尝试使用Masked content,看看哪一个效果最好。
  • 如果AUTOMATIC1111 的设置中没有任何效果,请使用 Photoshop 或 GIMP等照片编辑软件以您想要的粗略形状和颜色绘制感兴趣的区域。上传该图像并用原始内容进行修复。

这是初学者指南系列的第 3 部分。
阅读第 1 部分:如何使用Stable Diffusion
阅读第 2 部分:提出良好的提示
阅读第 4 部分:模型指南

  • 20
    点赞
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值