Diffusion Model相关论文解析之(二)DENOISING DIFFUSION IMPLICIT MODELS

于 2024-08-17 11:30:04 发布
阅读量98 收藏 1
点赞数 4
文章标签： python pytorch diffusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37737957/article/details/141277129
版权

目录

1、摘要

‌Denoising Diffusion Implicit Models (DDIM)‌是一种扩散模型的改进版本，旨在加速采样过程并提高采样速度。DDIM通过引入非马尔可夫扩散过程，相对于传统的去噪扩散概率模型（DDPM），能够在10到50倍的速度下生成高质量的样本。这种加速不仅提高了生成模型的实用性，还为创意表达开辟了新的可能性。

2、创新点

DDIM的核心思想在于通过一类非马尔可夫扩散过程来泛化DDPM，这些非马尔可夫过程可以对应于确定性的生成过程，从而能够更快地产生高质量样本。与DDPM相比，DDIM在保持相同训练目标的同时，允许直接在潜在空间中进行有语义意义的图像插值，并以极低的误差重建观测结果。这种改进使得DDIM在文生图和文生视频等应用中表现出色，显著提高了这些先进技术的实用性和可达性。

DDIM的提出解决了DDPM的一个主要限制，即通过模拟多步骤的马尔可夫链来生成每个样本的过程相对耗时。通过引入非马尔可夫过程，DDIM能够更高效地生成样本，同时保持样本的高质量

3、主要公式

在这里插入图片描述
在这里插入图片描述

4、自己的理解，对错不确定

在这里插入图片描述

在这里插入图片描述
为什么可以这样做？
DDIM不是马尔可夫链，把所有时间步方差=0，高斯噪声的随机性被移除了，变成了确定性的结果，
DDPM是马尔可夫链，方差每次是随机的，

mm_exploration
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
一文详解Denoising Diffusion Implicit Models（DDIM）
chase
07-31 852
一文详解Denoising Diffusion Implicit Models（DDIM）
DENOISING DIFFUSION IMPLICIT MODELS 论文笔记
weixin_46872424的博客
01-12 960
相较于DDPM来说，DDIM更具更加确定性的结果，并且可以减少一定的计算时间。DDPM是可以通过改变一定的参数比如论文中的是可以互相转化的，其实也提供了另外一种模型的思路，比如也可以只用DDIM中论文的一部分来减少DDPM模型的计算时间，或者直接应用DDIM在参数上改变，看看能否对超分辨或者图像降噪等问题有新的实验发现。注意：DDIM只是在重建阶段使用，Unet训练的参数和DDPM是一样的，也就是说是通过DDPM训练参数得到的Unet模型应用到DDIM上的，这点是不变的。
[Diffusion Model 笔记]DDIM 笔记 数学推导 Denoising Diffusion Implicit Models
YuQiao0303的博客
04-25 1251
DDIM只是一个采样的算法，其训练和DDPM是一样的。DDIM在推导采样公式时，没有用DDPM中q(xt|xt-1)的条件；同时把一个高斯噪声可以换成随机高斯噪声和预测的噪声的加权和，其中σk\sigma_kσk​是一个超参数，控制二者的权重xsαˉsx0∣k1−α‾s−σk2ϵθσkϵxs​αˉs​​x0∣k​1−αs​−σk2​​ϵθ​σk​ϵx0∣k1αˉk。
Denoising diffusion implicit models 阅读笔记2
icylling的专栏
01-25 939
Denoising diffusion probabilistic models (DDPMs)从马尔科夫链中采样生成样本，需要迭代多次，速度较慢。Denoising diffusion implicit models (DDIMs)的提出是为了在复用DDPM训练的网络的前提下，加速采样过程。加速采样的基本思路是，原本的生成过程是从T⋯1的序列逐步采样，加速时考虑从T⋯1的子序列采样，通过跳步的方式减少采样的步数。
Denoising Diffusion Implicit Models.pdf
05-18
"Denoising Diffusion Implicit Models" 本文介绍了一种新的生成模型，称为去噪扩散隐式模型（Denoising Diffusion Implicit Models，DDIMs），它可以生成高质量的图像样本，而无需对抗训练。DDIMs基于去噪扩散概率...
Improved Denoising Diffusion Probabilistic Models.pdf
05-18
Improved Denoising Diffusion Probabilistic Models Improved Denoising Diffusion Probabilistic Models（DDPM）是一类生成模型，它最近被证明可以生成高质量的样本。 DDPMs 通过学习反向扩散过程的方差，可以以...
Denoising Diffusion Probabilistic Models.pdf
05-18
"Denoising Diffusion Probabilistic Models" 本文将讨论 Denoising Diffusion Probabilistic Models（去噪扩散概率模型），一种基于热力学考虑的潜变量模型。该模型可以生成高质量的图像合成结果。 概率模型 ...
Integrated-Design-Diffusion-Model-大模型资源
07-21
IDDM(…)DDPM, DDIM, webgpuPytorch
Scalable Diffusion Models with Transformers
03-26
### Scalable Diffusion Models with Transformers #### 概述 本文主要介绍了如何利用Transformer架构来构建可扩展的扩散模型（Diffusion Models），并将其应用于图像生成任务。这些模型在多个基准测试上取得了...
【Python】入门到放弃之第九章《字典》
MP13537560060的博客
08-15 635
这是本系列的第九章节内容，《字典》。在Python中，字典（Dictionary）是一种内置的数据结构，用于存储键值对（key-value pairs）。字典是可变的，意味着你可以在创建字典后添加、删除或修改其中的元素。字典的键（key）必须是唯一的，并且是不可变的（即，它们必须是不可变数据类型，如字符串、数字或元组，但不能是列表或字典等可变类型）。字典的值（value）则可以是任何数据类型，包括列表、元组、字典等。以上，就是Python中字典的全部内容。
【python学习】深入解析 `jq` 库：JSON 处理的利器
m0_54007171的博客
08-13 407
jq库是 Python 对流行的命令行工具jq的封装。它允许你直接在 Python 中使用jq的查询语言来处理 JSON 数据。借助jq，你可以轻松地对 JSON 数据进行过滤、选择、转换、聚合等操作，极大地简化了代码复杂度。
GraphRAG：复杂查询的知识图谱新框架
YeJuliaLi的博客
08-14 873
微软最近发布了名为 GraphRAG（Graphs + Retrieval Augmented Generation）的创新 RAG 框架，这是一个将文本提取、语义网络分析，与大语言模型（LLM）的提示和总结功能结合在一起的端到端系统，用于深入理解文本数据集。在对私有数据中的复杂文本信息进行文档分析时，GrahRAG 使用 LLM 生成的知识图谱来大幅提高问答性能。这里的私有数据集是指 LLM 没...
汽车免拆诊断案例 | DAF（达富）汽油尾气处理液故障警示
虹科Pico汽车示波器的博客
08-14 837
一辆DAF（达富）故障警示灯亮，提示DEF系统故障，使用虹科Pico汽车示波器检查发现故障的原因是......
importlib库介绍
m0_51579041的博客
08-14 207
importlib
Java读写EM4305卡、将4305卡制做成4100ID卡
zhangjin7422的专栏
08-14 387
Java读写em4305低频RFID源码，支持将EM4305卡配置成4100ID卡
【Markdown】Markdown 中的语言简称
EleganceJiaBao的博客
08-12 992
以下是常见编程语言、脚本语言、标记语言等在 Markdown 中的语言简称以及相应的示例：
python爬虫入门（六）之 xpath 解析
最新发布
2302_79795489的博客
08-16 466
XPath（XML Path Language）是一种用于在 XML 文档中查找信息的语言。html是xml的一个子集（XML 允许用户创建自己的标签来描述数据。例如，<book><title><author>是 XML 标签，可以用于描述书籍信息）。Xpath可以用来遍历 XML 文档的节点、选择节点，或对节点进行条件筛选，实际上它就是靠节点之间的关系去查找内容。
【Python】python中抽象类学习笔记
qq_42761751的博客
08-12 428
抽象类是一个不能被实例化的类，通常作为其他类的基类抽象方法是一个没有具体实现的方法一个抽象类可以有或者没有抽象方法, 但是一般来说定义抽象类的时候总会在类中定义抽象方法Python并没有直接支持抽象类，但是提供了一个模块（abc）来允许定义抽象类通过继承abc.ABC类定义一个抽象类pass上述代码中类虽然继承了ABC但是没有定义抽象方法，仍然可以被实例化。"""使用@abstractmethod来定义抽象方法"""passmain()代码报错：不能实例化一个带有抽象方法的抽象类。
denoising diffusion probabilistic models
09-19
去噪扩散概率模型（Denoising Diffusion Probabilistic Models）是一种用于图像去噪的方法。它基于概率图模型，并通过对图像进行迭代扩散来降低噪声水平。 这种方法的关键思想是将图像看作是由真实图像和噪声构成的混合图像。通过建立一个概率图模型，可以对真实图像和噪声进行建模。然后，通过对这个概率模型进行扩散操作，可以较好地恢复出真实图像，并削弱噪声的影响。 扩散步骤通过将图像中的像素与周围像素进行交换来实现。每次迭代都会选择当前像素与周围像素交换的概率，这个概率是根据概率模型计算得出的。通过多次迭代，概率模型中的信息会通过扩散过程逐渐传播，从而减小噪声的影响，同时提高对真实图像的估计。 特别值得一提的是，Denoising Diffusion Probabilistic Models 方法不需要训练数据集，而是直接通过对图像的迭代扩散来进行去噪。这使得该方法在实际应用中具有较高的灵活性和适用性。 总结来说，去噪扩散概率模型是一种使用概率图模型和迭代扩散操作来降低图像噪声的方法。它通过对图像进行多次迭代的扩散操作，逐渐减小噪声的影响，从而恢复出真实图像。这种方法的优点包括不需要训练数据集、适用性强等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值