Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise论文阅读

已于 2025-05-13 11:21:05 修改
阅读量566 收藏 7
点赞数 5
文章标签： 论文阅读 图像处理 人工智能 计算机视觉 深度学习
于 2025-05-13 11:20:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45987837/article/details/147919129
版权

冷扩散：无需噪声的任意图像变换反转

摘要

标准扩散模型通常涉及两个核心步骤：图像降质 （添加高斯噪声）和图像恢复 （去噪操作）。本文发现，扩散模型的生成能力并不强烈依赖于噪声的选择，而是可以通过改变降质过程构建一个更广泛的生成模型家族。即使使用完全确定性 的降质操作（如模糊、遮蔽等），扩散模型的训练和测试规则仍可被推广，从而生成高质量图像。这一发现挑战了学界对扩散模型的传统认知——即依赖于梯度朗之万动力学或变分推断中的噪声机制，同时为更通用的扩散模型（可反转任意图像变换）开辟了道路。
代码开源地址：github.com/arpitbansal297/Cold-Diffusion-Models。

在这里插入图片描述

1 引言

扩散模型最近已成为生成建模的强大工具 [Ramesh 等, 2022]。扩散模型有多种变体，但其核心概念均围绕随机噪声的移除；研究者会训练一个图像恢复/去噪网络，该网络接受受高斯噪声污染的图像并输出去噪后的图像。在测试阶段，去噪网络通过交替应用去噪操作和添加高斯噪声的更新规则，将纯高斯噪声转化为逼真图像。当采用正确的更新序列时，能够观察到复杂的生成行为。

扩散模型的起源以及我们对这些模型的理论理解，均高度依赖高斯噪声在训练和生成过程中的作用。扩散模型被理解为基于朗之万动力学（Langevin dynamics）围绕图像密度函数进行的随机游走 [Sohl-Dickstein 等, 2015；Song 和 Ermon, 2019]，其中每一步都需要高斯噪声。这一过程从高温（强噪声）状态开始，逐步退火到几乎无噪声的“冷”状态。另一条研究路线则通过变分推断（variational inference）结合高斯先验，推导出去噪网络的损失函数 [Ho 等, 2020；Song 等, 2021a；Nichol 和 Dhariwal, 2021]。

本工作探讨了扩散模型是否必须依赖高斯噪声或任何随机性。我们研究了超越扩散模型原始理论框架的广义扩散模型。不同于局限于高斯噪声的模型，我们考虑基于任意图像变换（如模糊、下采样等）构建的模型。通过简单的 Lp 损失训练恢复网络以反转这些变换。在测试阶段交替应用图像恢复模型和降质操作时，生成行为依然出现，并能够生成逼真图像。

在训练和测试阶段均无需高斯噪声（或任何随机性）的“冷扩散”模型的存在，挑战了当前对扩散模型理论极限的理解，同时为具有全新特性的生成模型开辟了可能性。

钟屿
关注
Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise【重点笔记】
qq_45892530的博客
11-05 1614
Cold Diffusion论文阅读-个人总结重点笔记
【Diffusion模型】Cold Diffusion: 无噪声反转任意图像变换
qq_43583311的博客
11-18 1216
标准的扩散模型涉及图像变换--添加高斯噪声和反转这种退化的图像复原算子。我们观察到，扩散模型的生成行为与图像降级的选择并无密切关系，事实上，通过改变这种选择，可以构建整个生成模型系列。即使使用完全确定性的退化（如模糊、遮蔽等），扩散模型所依据的训练和测试时间更新规则也可以很容易地概括为生成模型。这些完全确定性模型的成功使人们对扩散模型的理解产生了质疑，因为扩散模型依赖于梯度朗格文动力学或变分推理中的噪声，这也为反转任意过程的广义扩散模型铺平了道路。
Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise
weixin_43617331的博客
09-25 1054
然而，我们发现，在具有平滑/可微分退化的冷扩散情况下，它会产生较差的结果，如图 2 中的去模糊模型所示。使用上述用于模糊生成的方法，我们从低维退化图像空间的高斯拟合分布中进行采样，并将该采样点通过在超分辨率数据上训练的生成过程中，以创建一个输出图像。当恢复算子完美时，即当所有 t 的 R(D(x0, t), t) = x0 时，我们可以很容易地看到算法 1 产生 xs = D(x0, s) 形式的精确迭代。换句话说，对于 R 的任何选择，迭代的行为与它的行为相同当 R 是退化 D 的完美逆时。
[学习笔记]冷扩散 Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise
qq_45747799的博客
10-10 2014
此外，为了证明几乎可以反转任何变换，我们包括了一种被称为变形的新变换，即我们迭代地将CelebA的人脸变换为AFHQ的动物脸。这仍然从图像中删除了所有信息，但它允许我们从不同颜色的图像开始，通过算法2从学习的分布中恢复不同的样本。我们讨论使用基于噪声的退化的图像生成。我们考虑基于高斯模糊操作（与高斯噪声相反）的广义扩散，其中步骤t处的图像比t−1处的图像具有更多的模糊。从高温（大噪声）状态开始，慢慢冷却到几乎没有噪声的“冷”状态，明确地表明，在扩散模型中，噪声不是必要的，并且去除噪声对许多逆问题有影响。
cold diffusion的个人理解
qq_42729417的博客
09-13 4330
最近阅读了cold diffusion，做了个简短的汇报，写一篇博客记录一下
【扩散生成模型】Diffusion Generative Models
weixin_44708254的博客
09-21 526
如下图所示，在图像退化再到逆转退化的过程中，Cold Diffusion 研究团队尝试了使用噪声、模糊、变形（Animorph）、遮罩（mask）、像素化（pixelate）、雪花等变换方式，且都得到了不错的效果。在这篇叫做“Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise”的最新论文中，作者提出了一个疑问：制作扩散模型的变体，是不是非得使用高斯噪声不可？通过多次尝试，该研究团队得出了答案：并不一定需要。
#今日论文推荐# 扩散模型家族再添一员，最新 Cold Diffusion 不再依赖高斯噪声
w1hsxn的博客
08-25 516
任意图像变换方式都可生成。扩散模型或取代GAN？
ICLR 2023 | 扩散生成模型新方法：极度简化，一步生成
Paper weekly
02-28 4686
©作者 |刘星超单位 |德州大学奥斯汀分校研究方向 |生成式模型Diffusion Generative Models（扩散式生成模型）已经在各种生成式建模任务中大放异彩，但是，其复杂的数学推导却常常让大家望而却步，缓慢的生成速度也极大地阻碍了研究的快速迭代和高效部署。研究过 DDPM 的同学可能见到过这种画风的变分法（Variational Inference）推导（截取自 What ar...
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
生成扩散模型漫谈：统一扩散模型（应用篇）
Paper weekly
11-19 1040
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络在《生成扩散模型漫谈：统一扩散模型（理论篇）》中，笔者自称构建了一个统一的模型框架（Unified Diffusion Model，UDM），它允许更一般的扩散方式和数据类型。那么 UDM 框架究竟能否实现如期目的呢？本文先回顾 DUM 框架的一般流程，然后通过一些具体例子来演示其一般性。框架回顾首...
【CVPR2019】论文完整列表一
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
论文阅读笔记——PixArt-α，PixArt-δ
最新发布
Multiple_x的博客
05-22 366
PixArt-α，PixArt-δ 论文阅读笔记
【论文阅读】——AN EXPRESSIVE REPRESENTATION OF GENERAL 3D SHAPES
河海大学研究生在读的学习笔记
05-22 317
【论文阅读】——AN EXPRESSIVE REPRESENTATION OF GENERAL 3D SHAPES
VideoMAE论文笔记
Zssss12的博客
05-22 256
文章提出了一种名为VideoMaskAutoEncoder（VideoMAE）的自监督视频预训练方法，旨在为视频人物提供更有效的视频表示。该方法受到ImageMAE的启发，采用了极高比例的视频管掩码策略，以解决视频数据中的时间冗余和时间相关性挑战。VideoMAE通过高比例掩码和下采样剪辑来应对时间冗余，通过管道掩码策略来打破帧间内容的直接对应关系，从而防止信息泄露。此外，VideoMAE采用了非对称编码器-解码器设计，以优化计算效率。实验结果表明，VideoMAE在多个视频数据集上取得了优异的性能，证明了
26、DAPO论文笔记（解耦剪辑与动态采样策略优化，GRPO的改进）
weixin_44986037的博客
05-19 1123
DAPO论文笔记（解耦剪辑与动态采样策略优化，GRPO的改进）
论文阅读：Auto-Encoding Variational Bayes
记录图像处理中遇到的点点滴滴
05-21 763
AIGC VAE经典论文学习记录
【论文阅读 | AAAI 2025 | FD2-Net：用于红外 - 可见光目标检测的频率驱动特征分解网络】
berling00的博客
05-18 1485
红外 - 可见光目标检测（IVOD）旨在利用红外和可见光图像中的互补信息，从而提升复杂环境下检测器的性能。然而，现有方法往往忽略互补信息的频率特性，例如可见光图像中丰富的高频细节和红外图像中有价值的低频热信息，这制约了检测性能。为解决这一问题，提出了一种新的用于 IVOD 的频率驱动特征分解网络 FD2-Net，该网络能有效捕捉跨多模态视觉空间的互补信息所具有的独特频率表示。
LLM笔记（十）vLLM（1）PagedAttention论文笔记
Jerry的博客
05-20 1396
vLLM PageAttention论文笔记，以及核心源码分析。
论文阅读：Next-Generation Database Interfaces:A Survey of LLM-based Text-to-SQL
m0_53605808的博客
05-21 791
由于用户问题理解、数据库模式解析和 SQL 生成的复杂性，从用户自然语言问题生成准确 SQL（Text-to-SQL）仍是一项长期挑战。传统的 Text-to-SQL 系统结合人工设计和深度神经网络已取得显著进展，随后预训练语言模型（PLM）在该任务上也实现了有前景的结果。然而，随着现代数据库和用户问题日益复杂，参数规模有限的 PLM 常生成错误 SQL，这需要更精细的定制化优化方法，从而限制了基于 PLM 系统的应用。
Scene Diffusion: Continuous Scenario Generation for LiDAR Simulation 论文pdf
03-29
### 关于Scene Diffusion连续场景生成用于LiDAR模拟的研究 目前，关于 **Scene Diffusion Continuous Scenario Generation for LiDAR Simulation** 的具体研究尚未广泛公开提及。然而，可以推测该主题可能涉及扩散模型（Diffusion Models）在激光雷达（LiDAR）数据生成中的应用。这种技术的核心在于通过生成对抗网络（GAN）、变分自编码器（VAE）或者更先进的扩散模型来合成逼真的三维点云数据。 #### 扩散模型简介 扩散模型是一种基于马尔可夫链的概率生成模型，其核心思想是通过对噪声逐步去噪的过程重建目标分布的数据[^4]。这类模型已经在图像生成领域取得了显著成果，并逐渐扩展到其他模态的数据生成任务中，例如音频、视频甚至三维点云。 #### 应用背景 激光雷达传感器作为自动驾驶汽车的重要组成部分之一，能够提供高精度的环境几何信息。然而，实际采集的真实世界LiDAR数据往往受到天气条件、光照变化等因素的影响，从而增加了算法开发和验证的成本。因此，利用仿真工具生成多样化的LiDAR扫描数据成为一种有效的替代方案。 #### 技术实现思路 以下是构建此类系统的潜在技术路径： 1. 数据预处理阶段：收集大量真实世界的LiDAR测量值并将其转换成统一格式供后续训练使用； 2. 模型架构设计方面可以选择引入U-Net风格的encoder-decoder结构配合注意力机制增强局部细节表现力；同时结合时间步嵌入向量调节不同演化阶段特性表达能力。 3. 训练过程中采用均方误差损失函数衡量预测结果与原始输入之间的差异程度，并辅以额外正则项约束促进泛化性能提升。 ```python import torch.nn as nn class UNetBlock(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() self.conv = nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=3, padding='same'), nn.ReLU(), nn.BatchNorm2d(out_channels), nn.Conv2d(out_channels, out_channels, kernel_size=3, padding='same'), nn.ReLU(), nn.BatchNorm2d(out_channels) ) def forward(self, x): return self.conv(x) def unet_model(): model = nn.Sequential( UNetBlock(64, 128), # Example layer definition ... ) return model ``` 尽管上述描述提供了理论框架指导，但针对特定应用场景优化调整参数设置仍需深入探索实践检验效果如何达到最佳平衡状态。 ### 下载资源建议 如果正在寻找与此相关的学术文章全文链接下载方式，推荐访问以下几个知名开源平台尝试检索获取： - arXiv.org: https://arxiv.org/ - ResearchGate.net: https://www.researchgate.net/ - Google Scholar: https://scholar.google.com/ 另外值得注意的是部分高质量期刊会议论文可能会有订阅权限限制情况存在，在这种情形下考虑联系作者请求副本或许不失为一条可行途径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值