论文粗读系列-2:SDEDIT

论文粗读系列-2

SDEDIT: GUIDED IMAGE SYNTHESIS AND EDITING WITH STOCHASTIC DIFFERENTIAL EQUATIONS

1.简介

ICLR 2022

链接:https://arxiv.org/abs/2108.01073

代码:GitHub - ermongroup/SDEdit: PyTorch implementation for SDEdit: Image Synthesis and Editing with Stochastic Differential Equations

引导图像合成使日常用户能够以最小的努力创建和编辑逼真的图像。关键的挑战是平衡忠实于用户输入(例如,手绘的彩色笔触)和合成图像的真实感。现有的基于gan的方法试图使用任何一种来实现这种平衡条件GAN或GAN反转,这是具有挑战性的,通常需要额外的训练数据或单个应用的损失函数。为了解决这些问题,作者引入了一种新的图像合成和编辑方法,即随机差分编辑(SDEdit),该方法基于扩散模型生成先验,通过随机序列迭代去噪来合成真实图像
微分方程(SDE)给定一个带有用户指南的输入图像,以操纵RGB像素的形式,SDEdit首先向输入添加噪声,然后随后通过SDE对结果图像进行降噪,以增加其真实感。

SDEdit不需要特定任务的训练或反转,可以自然地实现现实与忠实之间的平衡。

根据一项人类感知研究,在多个任务上,包括基于笔画的图像合成和编辑以及图像合成,SDEdit在真实感方面比最先进的基于gan的方法高出98.09%,在总体满意度得分上高出91.72%

文章实现的方法很简单,但是效果感觉非常好,属于是simple and efficient

2.方法

SDEdit的关键直觉是“劫持”基于sde的生成模型的生成过程。

给定带有用户指南输入的输入图像,例如笔画或带有笔画编辑的图像,作者添加适当数量的噪声来平滑不需要的伪影和扭曲(例如,笔画像素上的不自然细节),同时仍然保留输入用户指南的整体结构。然后,作者用这个有噪声的输入初始化SDE,并逐步去除噪声,以获得既真实又忠实于用户指导输入的去噪结果

在这里插入图片描述

也就是说,搞一个预训练的SDE反向扩散模型。你给你的输入加噪加若干步,然后直接套反向SDE恢复原图。由于到了中间的某一步,仍旧保留了原图信息【个人理解:给定引导是容易学习的,所以加噪多步仍能在结果中反应出来】,同时可以利用预训练SDE的能力,推回一个很好的图片

3.狗头保命

以上观点均为本人对于原文的粗鄙理解,仅作为个人学习笔记,如有错误烦请指正,如有侵权请联系我删除。

上一篇的前置知识,数学不好,仅作理解

不摆了,加训!

  • 19
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值