Stable Diffusion Inpainting 原理

Inpainting任务是指在任意一个二进制的掩码指定的图片区域上重新生成新的内容，且新生成的内容需要和周围内容保持协调。当前SOTA模型用单一类型的 mask 训练限制了模型的泛化能力，此外 pixel-wise 和 perceptual loss 会导致生成模型朝着纹理填充而不是语义修复方向更新。本文提出了基于去噪扩散概率模型的图像修复方法Repaint，该方法甚至对于极端的 mask 情况（如mask 面积很大，几乎遮挡了整幅图像）都适用。本文利用一个预训练的 Unconditional DDPM 作为先验模型。为了调节生成过程，我们使用给定的图像信息仅对未屏蔽区域进行采样来改变反向扩散迭代。由于该技术不修改原始 DDPM 网络本身，因此该模型可以为任何修复形式生成高质量的图像。

1. 预备知识

本章节将介绍几个后面要用到的DDPM的结论，关于这些结论是如何得到的以及DDPM的相关知识可以移步至 通俗理解DDPM到Stable Diffusion原理。

扩散的前向过程：

进一步可以直接从推到出加噪后的:

反向降噪过程：

降噪过程就是通过神经网络来预测高斯分布的参数 和

2. 方法

使用 表示 ground truth 图像，那么 表示图像中被mask掉的未知区域， 表示剩余已知区域。那么根据（2）式的加噪过程，可以在任意时间点采样得到 时刻的已知区域 ，如下图所示：即：

根据（3）式的降噪过程生成 时刻的未知区域 ，如下图所示：即：

将以上两部分的结果相加即可得到 时刻的修复结果，如下图所示：即：

然后不断迭代下去，直到得到 .

Resampling技巧

当直接使用上述的方式进行Inpainting时，可以发现结果仅仅是修复的内容与已知区域匹配，但是语义并不正确。如下图所示，在时，修复的区域是比较粗糙的纹理和够的毛相匹配，但是语义并不正确。造成上述问题的原因是模型在用DDPM输出的结果和已知区域的采样结果从预测时，使用（2）式对已知区域进行采样时并没有考虑到生成的部分。尽管模型尝试在降噪的每一步来协调图片，但是由于在每一步中都有上述相同问题，因此从来没有完全收敛。此外，在降噪的每一步中，由于方差策略的减小，图片的改变也随着减小，因此模型在后续迭代中无法纠正错误。

针对上述分析的问题，作者提出 resampliing 的方法，即对模型的输出 重新根据（1）式将其扩散回到 ，并把重采样操作的次数称为 jump length，用 表示， 表示不进行重采样。

如下所示，展示了Repaint的伪代码

3. 实验结果

（1）定性结果（2）定性结果2（3）定量结果（3）降噪步数 和resampling步数 的关系

写在最后

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。

感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、AIGC必备工具

工具都帮大家整理好了，安装就可直接上手！

三、最新AIGC学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

若有侵权，请联系删除