论文阅读-Null-text Inversion for Editing Real Images using Guided Diffusion Models

已于 2024-03-11 21:52:16 修改
阅读量961 收藏
点赞数 1
分类专栏： 读论文 文章标签： 论文阅读
于 2023-12-05 13:47:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43687860/article/details/134805164
版权
这篇论文介绍了利用DDIM Inversion和Null-text Inversion进行真实图像编辑的方法。作者团队提出了classifier-free guidance的训练策略，并通过在DDPM模型上进行逆过程来实现图像的反向去噪。Null-text Inversion解决了有条件DDIM重建导致的误差累积问题，通过优化null-text embedding序列，在不需微调模型的情况下完成图像编辑任务。
摘要由CSDN通过智能技术生成

一、论文信息

作者团队：

论文链接：https://arxiv.org/pdf/2211.09794.pdf

代码链接：https://github.com/google/prompt-to-prompt

二、Conditional Diffusion（classifier-free guidance)

Classifier-free guidance方法训练：

对于有条件的训练集（如图文对数据集），以某个概率p将其中的某些条件置为空，然后进行训练。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
海拉鲁的小厨娘
关注
专栏目录
订阅专栏
Diffusion Models专栏文章汇总：入门与实战
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
浅析扩散模型与图像生成【应用篇】(二十六)——Null-text Inversion
深视
05-16 1339
本文提出一种文本驱动的真实图像编辑方法，号称是首次提出对真实图像进行文本编辑的方法。为了保证生成的图像和输入图像之间的相似性，现有的扩散过程，通常使用DDIM来进行扩散。但作者发现，DDIM扩散得到的噪声图在进行无条件采样时，能够得到很好的重建结果。而当增加了无分类器的文本条件引导时，生成结果就会有很大的偏差。为了解决这个问题，作者提出了两个举措：一是使用DDIM在无条件采样过程中得到的生成轨迹作为一个中枢轨迹；二是将无分类器引导采样时用到的空文本条件，改成了一个训练得到的文本条件。
Null-text Inversion for Editing Real Images using Guided Diffusion Models
qq_43800752的博客
03-27 1327
在本文中，我们介绍了一种精确的反转技术，从而有助于直观地对图像进行基于文本的修改。我们提出的反演由两个新的关键组成部分组成：（i）扩散模型的关键反演。虽然目前的方法旨在将随机噪声样本映射到单个输入图像，但我们为每个时间戳使用一个关键噪声向量，并围绕它进行优化。我们证明，直接反演本身是不够的，但确实为我们的优化提供了一个很好的锚。（ii）空文本优化，其中我们只修改用于无分类器引导的无条件文本嵌入，而不是输入文本嵌入。
[论文解析] Null-text Inversion for Editing Real Images using Guided Diffusion Models
Joselynzhao
12-09 4052
在本文中，我们引入了一种精确的反演技术，从而方便了直观的基于文本的图像修改。(i)扩散模型的关键反演。我们为每个时间戳使用单个关键噪声向量，并围绕它进行优化。我们证明了直接反演本身是不够的，但确实为我们的优化提供了一个很好的锚定。(ii)空文本优化，我们只修改用于无分类器引导的无条件文本嵌入，而不是输入文本嵌入。这允许保持模型权重和条件嵌入不变，因此可以应用基于提示的编辑，同时避免对模型权重进行繁琐的调优。在各种图像和提示编辑上进行了广泛的评估，显示了对真实图像的高保真编辑。
（2024，小波变换，空文本反演，负提示反演）基于扩散的图像编辑中文本反演的小波引导加速
qq_44681809的博客
01-21 1060
NTI 能实现细粒度编辑同时保留原始图像的结构，但耗时较长。为解决这个问题，本文提出了 WaveOpt-Estimator，它基于频率特征确定文本优化的端点。通过利用小波变换和 NPI 来加速图像编辑。
[总结] DDPM Diffusion模型各阶段训练和采样过程方案细节和代码逻辑汇总
Joselynzhao
01-06 5144
下面是论文《GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models》的代码逻辑进行梳理，code 链接：https://github.com/openai/glide-text2im/Classifier-Free Diffusion Guidance 中的这张图也表达相同的意思，模型增加分类器指导强度时发生的Inception score增加和样本多样性减少的简化表现。
扩散模型从原理到实践-第四周
stevensmh的博客
11-08 3561
DDIM Inversion每一步都会产生误差，对于无条件扩散模型，累积误差可以忽略。但是对基于classifier-free guidance（w >1）的扩散模型，累积误差会不断增加，DDIM Inversion最终获得的噪声向量可能会偏离高斯分布，再经过DDIM采样，最终生成的图像会严重偏离原图像，并可能产生视觉伪影。
Text-guiled DDPM
07-27
\[1\]\[2\]此外，还有一些相关的研究工作，如Classifier-Free Diffusion Guidance和Null-text Inversion for Editing Real Images using Guided Diffusion Models，它们进一步探索了基于文本引导的条件采样过程。...
3D、扩散模型、GAN、StyleGAN、MAE.等【face-swapping方法汇总】
zik的博客
05-25 2944
换脸是将一张脸的身份（肤色、面部皮肤、眉毛、眼睛、鼻子、嘴唇和嘴巴等）与另一张脸的非外观属性（表情、头部姿势、光照、图像分辨率、注释方向、头发、眼镜、耳朵、耳环、颈部和背景等非内部人脸区域）相结合，生成合成人脸。
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
论文学习——Tune-A-Video
胖虎的博客
03-28 4738
通过文本生成视频的深度学习方法
01_ddim_inversion_CN
Mr_yuekitty的博客
11-10 1125
这是因为DDIM的反转依赖一个重要的假设，在t时刻预测的噪声与t+1时刻会是相同的 - 这在我们只反转50或100步时是不陈立的。这个函数看起来和上面的取样函数很像，但我们在timesteps上是在向相反的方向移动，从t=0开始，向越来越多的噪声前进。嗯，这是因为如果我们现在若要用一个新的prompt来生成图像，我们会得到一个匹配于源图像，除了，与新prompt相关的内容。我们可以这么做，但这会带来一个到处都被改变得夸张得多的照片（如果我们加入了很多噪声），或哪也没怎么变的图像（如果加了太少的噪声）。
Diffusion Inversion技术
weixin_44966641的博客
05-13 2308
Inversion 技术的两个关键目标是重构性能和编辑性能，既要与原图布局结构大致保持一致，又要能够按照新的 prompt 合理地编辑修改图中的语义内容。DDIM 本身是一种确定性的采样过程，十分适合作 Inversion，也是扩散模型 Inversion 的常用 baseline。当引入 CFG 文本条件控制后，重构编辑过程要求有较高的条件引导系数，使得问题进一步复杂。
Zero-Shot Unsupervised and Text-Based Audio Editing Using DDPM Inversion
weixin_46433387的博客
02-29 785
论文地址： https://arxiv.org/abs/2402.10009该论文探索了两种音频信号的零样本编辑技术，这些技术利用了预训练扩散模型上的DDPM反演。**第一种技术源自图像领域，允许基于文本进行编辑。第二种技术是一种新颖的方法，可以在没有监督的情况下发现语义上有意义的编辑方向。**当应用于音乐信号时，这种方法展示了一系列音乐上有趣的修改，从控制特定乐器的参与到对旋律的即兴演奏。在本文中，我们探索了两种使用预训练音频 DDM 进行零样本音频编辑的方法，。
Negative-prompt Inversion: Fast Image Inversion for Editing with Text-guided Diffusion Models
最新发布
qq_43800752的博客
06-11 1046
在使用扩散模型的图像编辑中，在改变其风格的同时保持原始图像的重建质量是至关重要的。尽管现有的方法通过优化来确保重建质量，但这些方法的缺点是优化所需的大量时间。在本文中，我们提出了负提示反演，这是一种能够在不进行优化的情况下仅通过正向传播实现等效重建的方法，从而实现更快的编辑过程。我们通过实验证明，我们的方法的重建质量与现有方法相当，允许在大约5秒内以512像素的分辨率和50个采样步骤进行反演，这比空文本反演快30多倍。
【深度学习】InST，Inversion-Based Style Transfer with Diffusion Models，论文，风格迁移，实战
q742971636的博客
07-28 5403
一幅绘画中的艺术风格是表达的手段，其中包括绘画材料、颜色和笔触，还有高层次的属性，如语义元素、物体形状等。先前的任意样例引导的艺术图像生成方法通常无法控制形状变化或传达元素。预训练的文本到图像合成扩散概率模型已经取得了显著的质量，但通常需要大量的文本描述来准确描绘特定绘画的属性。我们相信艺术作品的独特之处正是因为它无法用普通语言充分解释。我们的关键想法是直接从一幅绘画中学习艺术风格，然后在不提供复杂的文本描述的情况下指导合成。**具体而言，我们将风格视为一幅绘画的可学习文本描述。
DDIM，多样性与运行效率之间的trade off
ShadyPi的IT笔记
04-07 640
DDIM对DDPM的反向扩散过程做了优化，大大加速了推理过程
027_SSS_Direct Inversion Optimization-Free Text-Driven Real Image Editing with Diffusion Models
D_Trump的博客
02-08 504
Direct Inversion: Optimization-Free Text-Driven Real Image Editing with Diffusion Models
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值