论文粗读系列-2：SDEDIT

论文粗读系列-2

SDEDIT: GUIDED IMAGE SYNTHESIS AND EDITING WITH STOCHASTIC DIFFERENTIAL EQUATIONS

1.简介

ICLR 2022

链接：https://arxiv.org/abs/2108.01073

代码：GitHub - ermongroup/SDEdit: PyTorch implementation for SDEdit: Image Synthesis and Editing with Stochastic Differential Equations

引导图像合成使日常用户能够以最小的努力创建和编辑逼真的图像。关键的挑战是平衡忠实于用户输入(例如，手绘的彩色笔触)和合成图像的真实感。现有的基于gan的方法试图使用任何一种来实现这种平衡条件GAN或GAN反转，这是具有挑战性的，通常需要额外的训练数据或单个应用的损失函数。为了解决这些问题，作者引入了一种新的图像合成和编辑方法，即随机差分编辑(SDEdit)，该方法基于扩散模型生成先验，通过随机序列迭代去噪来合成真实图像
微分方程(SDE)给定一个带有用户指南的输入图像，以操纵RGB像素的形式，SDEdit首先向输入添加噪声，然后随后通过SDE对结果图像进行降噪，以增加其真实感。

SDEdit不需要特定任务的训练或反转，可以自然地实现现实与忠实之间的平衡。

根据一项人类感知研究，在多个任务上，包括基于笔画的图像合成和编辑以及图像合成，SDEdit在真实感方面比最先进的基于gan的方法高出98.09%，在总体满意度得分上高出91.72%

文章实现的方法很简单，但是效果感觉非常好，属于是simple and efficient

2.方法

SDEdit的关键直觉是“劫持”基于sde的生成模型的生成过程。

给定带有用户指南输入的输入图像，例如笔画或带有笔画编辑的图像，作者添加适当数量的噪声来平滑不需要的伪影和扭曲(例如，笔画像素上的不自然细节)，同时仍然保留输入用户指南的整体结构。然后，作者用这个有噪声的输入初始化SDE，并逐步去除噪声，以获得既真实又忠实于用户指导输入的去噪结果

也就是说，搞一个预训练的SDE反向扩散模型。你给你的输入加噪加若干步，然后直接套反向SDE恢复原图。由于到了中间的某一步，仍旧保留了原图信息【个人理解：给定引导是容易学习的，所以加噪多步仍能在结果中反应出来】，同时可以利用预训练SDE的能力，推回一个很好的图片

3.狗头保命

以上观点均为本人对于原文的粗鄙理解，仅作为个人学习笔记，如有错误烦请指正，如有侵权请联系我删除。

上一篇的前置知识，数学不好，仅作理解

不摆了，加训！