【论文速读】DDIM:DENOISING DIFFUSION IMPLICIT MODELS

最新推荐文章于 2025-02-28 23:10:54 发布
最新推荐文章于 2025-02-28 23:10:54 发布
阅读量368 收藏
点赞数 3
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43457608/article/details/142629348
版权

详细见论文

2010.02502v4

简单理解

因为DDPM是遵循马尔可夫过程的，下一时刻状态取决上一时刻状态。DDIM经过变换后，让前向加噪过程成立的同时，去噪过程可以不遵循马尔可夫过程，将T=1000的序列，采样L序列（远小于T），加速推理
在这里插入图片描述

实现代码

    @torch.no_grad()
    def ddim_sample(self, shape, cond, **kwargs)
最低0.47元/天 解锁文章
半度、
关注
扩散模型+CV与NLP科研笔记专栏文章汇总：【Diffusion Models】
zik的博客
04-04 5064
CLIP是一个多模态的大模型，用了4亿个（图像、文本）对进行对比学习，学习之后可以直接进行zero-shot推理，并且不需要像ImageNet那样标注1000个类，而是可以人为给出文本提示，进行图片和文本之间的相似度计算，而且迁移效果很好。那么基于此，提出了Classifier-Free Diffusion Guidance，后续非常多的工作都是基于其来进行的，例如DALL·E 2、Imagen等吸引人眼球的模型基本上都是以它为基础做的。直接用训练好的非条件的扩散模型，无需重复训练。
DENOISING DIFFUSION IMPLICIT MODELS 论文笔记
weixin_46872424的博客
01-12 1180
相较于DDPM来说，DDIM更具更加确定性的结果，并且可以减少一定的计算时间。DDPM是可以通过改变一定的参数比如论文中的是可以互相转化的，其实也提供了另外一种模型的思路，比如也可以只用DDIM中论文的一部分来减少DDPM模型的计算时间，或者直接应用DDIM在参数上改变，看看能否对超分辨或者图像降噪等问题有新的实验发现。注意：DDIM只是在重建阶段使用，Unet训练的参数和DDPM是一样的，也就是说是通过DDPM训练参数得到的Unet模型应用到DDIM上的，这点是不变的。
002_SSSS_ Denoising Diffusion Implicit Models
D_Trump的博客
06-24 3431
Denoising Diffusion Implicit Models 笔记
Denoising Diffusion Implicit Models (DDIM)
最新发布
agito_cheung的博客
02-28 1231
因为扩散模型的正向过程可以实现跳步，其马尔科夫性并不重要，因此DDIM尝试在反向过程中也舍弃马尔科夫性的约束。在引入一个可控参数σt\sigma_tσt​后，反向过程的迭代被整理为预测x0x_0x0​后重新进行正向扩散的过程，扩散时使用的噪声为新初始化噪声与上一步预测噪声的加权，在特定σ\sigmaσ选择下，可以导出DDPM的采样过程和新的确定性的采样过程，并且使得反向过程同样支持跳步。在DDPM中，反向过程的损失函数是根据马尔科夫性推导得出的，而虽然正向过程也是马尔科夫链，但是因为高斯分布的可加性，其完全
[Diffusion Model 笔记]DDIM 笔记 数学推导 Denoising Diffusion Implicit Models
YuQiao0303的博客
04-25 1827
DDIM只是一个采样的算法，其训练和DDPM是一样的。DDIM在推导采样公式时，没有用DDPM中q(xt|xt-1)的条件；同时把一个高斯噪声可以换成随机高斯噪声和预测的噪声的加权和，其中σk\sigma_kσk​是一个超参数，控制二者的权重xsαˉsx0∣k1−α‾s−σk2ϵθσkϵxs​αˉs​​x0∣k​1−αs​−σk2​​ϵθ​σk​ϵx0∣k1αˉk。
深度学习（生成式模型）——DDIM：Denoising Diffusion Implicit Models
菜到怀疑人生的博客
10-30 6335
上一篇博文介绍了DDIM的前身DDPM。DDPM的反向过程与前向过程步数一一对应，例如前向过程有1000步，那么反向过程也需要有1000步，这导致DDPM生成图像的效率非常缓慢。本文介绍的DDIM将降低反向过程的推断步数，从而提高生成图像的效率。值得一提的是，DDIM的反向过程仍然是马尔可夫链，但论文里有讨论非马尔可夫链的生成模型。本博文只总结DDIM如何提高DDPM的生成图像效率。
一文详解Denoising Diffusion Implicit Models（DDIM）
chase
07-31 4698
一文详解Denoising Diffusion Implicit Models（DDIM）
【论文速读】DDPM：Denoising Diffusion Probabilistic Models
weixin_43457608的博客
09-12 330
是一个常量可以忽略。为什么要再加一个噪音暂时没懂。，T长度通常设置为1000。是给定好的一组序列，
NLP论文速读|HBAT:一种面向大语言模型的混合对齐训练方法Hybrid Alignment Training for Large Language Models
2401_85576118的博客
10-29 1313
该论文的实验主要关注于评估所提出的HBAT在大型语言模型（上的表现，特别是在摘要（Summarization）和对话（Dialogue）任务上。在摘要任务上，HBAT在LLaMA2-7B和LLaMA2-13B模型上均取得了最佳结果。在对话任务上，HBAT在对话任务上也表现出色，尤其是在使用PPO进行人类偏好对齐训练时，HBAT在PandaLM和Reward上都超过了RLHF。在传统的两阶段对齐训练中，即指令遵循对齐和人类偏好对齐，存在目标可能发生冲突的问题，导致LLMs无法同时很好地对齐指令和人类偏好。
论文速读|InternVL:Scaling up Vision Foundation Models andAligningforGenericVisual-LinguisticTasks.CVPR24
科研笔记
01-24 737
大型语言模型 （LLM） 的指数级增长为多模态 AGI 系统开辟了许多可能性。然而，视觉和视觉语言基础模型（也是多模态 AGI 的关键要素）的进步并没有跟上 LLM 的步伐。在这项工作中，我们设计了一个大规模的视觉语言基础模型 （InternVL），它使用来自各种来源的 Web 规模图像文本数据，将视觉基础模型扩展到 60 亿个参数，并逐步将其与 LLM 保持一致。
[DDIM] Denoising Diffusion Implicit Models
sinat_30618203的博客
04-08 415
DDPM生成图像需要模拟Markov链，因此要经过多轮推理（因为条件概率仅仅与系统的当前状态相关），且推理过程是sequentially而不是parallel的DDIM在不改变DDPM训练的基础上，减少了infer次数，在极大地增加了采样效率的同时，几乎不影响采样效果。
Diffusion Filtering for Image Denoising：线性扩散滤波、边缘增强线性和非线性各向异性滤波-matlab开发
06-01
各种基于扩散的图像过滤方法： 1. 使用热方程的线性扩散滤波 - 使用隐式和显式欧拉方法求解。 2.边缘增强线性各向异性扩散过滤。 3.边缘增强非线性各向异性扩散过滤。 包括测试图像的数据文件。 每个文件都是一个实现上述方法之一的脚本。 阅读评论了解详情。 版权所有 (c) Ritwik Ku​​mar，哈佛大学 2010 www.seas.harvard.edu/~rkkumar
【DDIM】Denoising Diffusion Implicit Models
2201_75801514的博客
10-10 1071
去噪扩散概率模型（DDPMs）无需对抗训练即可生成高质量图像，但它们需要模拟马尔可夫链的多个步骤才能生成样本。为了加快采样速度，我们提出了去噪扩散隐含模型（DDIMs），这是一类更高效的迭代隐含概率模型，其训练过程与 DDPMs 相同。在 DDPMs 中，生成过程被定义为特定马尔可夫扩散过程的反向。我们通过一类能达到相同训练目标的非马尔可夫扩散过程来推广 DDPMs。这些非马尔可夫过程可以对应于确定性的生成过程，从而产生能更快地生成高质量样本的隐式模型。
Denoising diffusion implicit models 阅读笔记2
icylling的专栏
01-25 1108
Denoising diffusion probabilistic models (DDPMs)从马尔科夫链中采样生成样本，需要迭代多次，速度较慢。Denoising diffusion implicit models (DDIMs)的提出是为了在复用DDPM训练的网络的前提下，加速采样过程。加速采样的基本思路是，原本的生成过程是从T⋯1的序列逐步采样，加速时考虑从T⋯1的子序列采样，通过跳步的方式减少采样的步数。
gDDIM: Generalized denoising diffusion implicit models
通街是密人有的博客
03-12 823
我们的目标是将去噪扩散隐式模型(DDIM)扩展到一般扩散模型(DMs)。我们没有像原来的DDIM论文那样构造一个非马尔可夫噪声过程，而是从数值的角度研究了DDIM的机制。我们发现，在求解相应的随机微分方程时，可以使用分数的某些特定近似值来获得DDIM。我们提出了DDIM加速效应的解释，这也解释了确定性抽样方案相对于快速抽样的随机方案的优势。在此基础上，我们将DDIM扩展到通用DM，在参数化分数网络方面进行了小而精细的修改。当应用于最近提出的一种新型扩散模型——临界阻尼朗之万扩散模型时，我们的算法在CIFAR
扩散模型的具体类型——Denoising Diffusion Implicit Models (DDIM)
DuHz的博客
11-12 783
Denoising Diffusion Implicit Models（DDIM）是一种扩散模型的变体，旨在提高生成过程的效率和灵活性。与传统的Denoising Diffusion Probabilistic Models（DDPM）相比，DDIM通过引入确定性的逆向过程，实现了更快的采样速度，同时保持了生成样本的高质量。DDIM不仅在采样效率上有所提升，还提供了更灵活的生成控制方式，使其在图像生成、语音合成等领域具有广泛的应用前景。
【DDIM加速采样方法】公式推导加代码分析。Denoising Diffusion Implicit Models
zik的博客
03-22 1699
ICLR 2021不啰嗦，就简单介绍采样过程的均值与方差的推导。训练过程与DDPM差不多。证明部分放在最后。请注意，DDIM 论文中的αt\alpha_tαt​是指来自DDPM的αˉtαˉt​。其中ϵτiϵτi​​是随机噪声，τ\tauτ是12T12T的子序列，长度为SSS（DDPM是前置知识需要先看）
DDIM原理及代码(Denoising diffusion implicit models)
热门推荐
andy dennis的博客
12-22 2万+
之前学习了 DDPM和 IDDPM， 这次又来学习另一种重要的扩散模型。它的采样速度比DDPM快很多(respacing)，扩散过程不依赖马尔科夫链。
超级速读训练图：提升阅读效率的学习资料
### 知识点1：超级速读训练图的概念和应用 超级速读训练图是一种旨在提高阅读速度和理解力的工具。这种工具通过特定的图形、符号或者布局来帮助人们在短时间内吸收大量信息，从而达到提高阅读效率的目的。它的应用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值