为什么Diffusion Models扩散模型可以称为Score-based Models？

已于 2022-05-08 11:17:06 修改
阅读量8.6k 收藏 12
点赞数 9
分类专栏： 深度学习-计算机视觉 Diffusion Models与深度学习 文章标签： 深度学习 人工智能
于 2021-11-04 20:26:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/121149862
版权
本文探讨了Diffusion Models（扩散模型）被称为Score-based Models的原因。通过解析正向和反向过程，以及训练目标的化简，阐述了模型如何通过匹配噪声的score来实现数据重建，从而避免了对抗训练带来的问题。这种从噪声重建数据的方法为模型优化提供了新的思路。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Diffusion Models专栏文章汇总

前言：

《Diffusion Model扩散模型与深度学习(附Python示例)》、《击败GANs的新生成式模型：score-based model(diffusion model)原理、网络结构、应用、代码、实验、展望》

前面这两篇文章中详细讨论了diffusion models和score-based models原理、方法和代码实现。新的生成式模型从出生开始就被寄予打败GANs、VAE等前辈的重望。虽然这两种模型在本质上来讲是一样的，但是为什么diffusion models可以被称为score-based models呢？彻底弄懂这一问题对理解扩散模型大有帮助。

目录

正向过程和反向过程

反向过程：

正向过程：

参数解释：

训练目标

化简训练目标

从训练目标解释为什么又称为score-based models

从数据的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
击败GANs的新生成式模型：score-based model(diffusion model)原理、网络结构、应用、代码、实验、展望
沉迷单车的追风少年
10-20 1万+
前言：在近两年的NeurIPS、ICCV、CVPR等顶会中，出现了二三十篇score-based generative models相关的论文，这是一种全新的生成式模型。特别是一些论文直接喊出了beat GANs(打败GANs)的口号，全新的生成方式和部分领域领先GANs、VAE的生成效果，让越来越多的人感兴趣并投身于研究中。 会不会是下一个GANs？能否解决目前GANs遇到的问题？ 和现有的生成式模型相比有哪些优点哪些缺点？ 目前的网络结构是怎样？ 如何用代码实现？ 常用的数据集有哪些？ 常.
【生成模型新方向】score-based generative models
zik的博客
04-06 1637
本文主要翻译自此领域先驱Song Yang博士(斯坦福大学博士)的博客。并且对于重要知识点给出了表格形式的整理汇总，方便记忆和理解！一言以蔽之：我们可以在大量噪声扰动的数据分布上（on a large number of noise-perturbed data distributions）学习得分函数score functions（对数概率密度函数的梯度gradients of log probability density functions），然后使用 Langevin 型采样生成样本。
Score-based diffusion models for accelerated MRI
通街是密人有的博客
10-25 3031
​ 近年来，磁共振成像（MRI）的亚采样测量重建方法取得了很大进展。正则化重建方法利用手工制作的先验数据的稀疏性以及数据的一致性来得出解决方案（Donoho，2006），但先验的构造是十分重要的，并且没有一种方法能够正确地建模MRI扫描的实际复杂数据分布pdatap_{data}pdata​。数据驱动的深度学习方法可以直接（Wang等人，2016）或间接（Oh等人，2020；Yaman等人，2020）训练模型，但这些方法严重依赖于精心策划的k空间数据大型数据库的监督，这很难获得。
什么是 Score-based Models？与 Diffusion 的关系、原理与举例
最新发布
weixin_51176105的博客
03-02 688
Score-based Models 是一种通过估计 score function∇log⁡px∇logpx来生成数据的模型23。它与 Diffusion Models 密切相关，Diffusion Models 是其具体实现之一，强调加噪和去噪的过程15。其原理基于分数匹配和 Langevin 动力学，具有无需对抗训练、生成质量高等优点12。实际应用包括图像生成、点云重建和语音合成等领域15。13425。
随机微分方程的分数扩散模型 (score-based diffusion model) 代码示例
wufeil7的博客
11-05 3818
score-based diffusion是diffusion模型大火之后，又一个里程碑式的工作，将扩散模型和分数生成模型进行了统一。原始的扩散模型也有缺点，它的采样速度慢，通常需要数千个评估步骤才能抽取一个样本。而 score-based 的扩散模型可以在较短的时间内完成采样。 这里提供了score-based diffusion 模型的简单的可运行的代码示例。
[Diffusion Model 笔记]Score based
YuQiao0303的博客
04-25 2622
本文是观看以下视频的笔记：论文：Generative Modeling by Estimating Gradients of the Data Distribution (NeurIPS2019)注意，这篇比DDPM更早likelihood-based methods对网络结构的设计有很大限制，但score-based只要输入输出维度一样就行了；gan就是太难train 了。在生成和判别之间要权衡。但咱们score-based就不用，就一个loss完事儿。
5、score diffusion model
小白的博客
03-09 2009
score diffusion model
从DDPM到score-based generative models再到Consistency Models的介绍
05-28
本文将深入探讨从DDPM（Diffusion Probabilistic Models）到Score-based Generative Models再到Consistency Models的发展历程，以及它们在人工智能领域的应用。首先，我们来看看DDPM。 DDPM（Diffusion ...
【基于分数的模型与扩散模型的区别与联系】score-based generative models总结
zik的博客
04-06 2013
本篇博客介绍了基于分数的模型和扩散模型的联系与区别，并对基于分数的模型进行了总结和缺点分析。都给出了表格形式的总结。主要参考自Yang Song的博客【2】
Diffusion Models/Score-based Generative Models背后的深度学习原理(4)：随机最大似然和对比散度
沉迷单车的追风少年
02-27 1358
有不少订阅我专栏的读者问diffusion models很深奥读不懂，需要先看一些什么知识打下基础？虽然diffusion models是一个非常前沿的工作，但肯定不是凭空产生的，背后涉及到非常多深度学习的知识，我将从配分函数、基于能量模型、马尔科夫链蒙特卡洛采样、得分匹配、比率匹配、降噪得分匹配、桥式采样、深度玻尔兹曼机、对比散度、随机最大似然等方面，总结一些经典的知识点，供读者参考。
【理论推导】随机微分方程(SDE)视角下的Diffusion Model与Score-based Model
fnoi2014xtx的博客
03-31 9982
随机微分方程下的扩散模型与分数模型
score-based model介绍
weixin_44966641的博客
12-27 1833
同为扩散模型。score-based model 在很多地方与 DDPM 非常相近（yang song 后来的文章也通过 SDE 统一了这两种形式）。通过理解两个关键问题。score-based model 的许多做法似乎有更好的解释性。如何采样？通过加不同程度的高斯噪声来权衡 score 估计准确性和数据分布真实性。如何估计 score？估计加入的噪声就是估计 score。
【理论推导】基于分数的生成模型Score-based Model
fnoi2014xtx的博客
03-29 2152
Score-based Models
【论文精读】CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation
MaoZhihang的博客
07-02 3794
论文精读 扩散模型
DiffusionModel-score-baesd diffusion model 基于分数模型的扩散模型 原理+代码
hflexxx的博客！喜欢的话点个关注！
07-25 1791
SCORE-BAESD DIFFUSION MODEL基于分数的扩散模型 原理+代码
Diffusion:从Score-based (DM) 到 Distillation-based (CM)再到Consistency Trajectory Models（CTM）
wangcr_pangge的博客
11-20 787
diffusion model是生成模型的新贵，近年在图像生成领域火爆出圈，当然，其实在笔者所研究的声音合成领域，diffusion也能表现非凡。笔者初闻diffusion是在大二的随机过程课上，可惜当时也学得不是很懂/doge。借着学习近期论文Consistency Trajectory Models的机会，我们来好好梳理一下diffusion model的发展历程。和。我们下面就以这两类的发展历程来diffusion model的种种细节。在正式开始前，我们先来学习一些基础的数学知识！
一份其实很短的CSDI（基于得分扩散模型的条件时间序列插补）架构简介
ForestsBone的博客
06-21 2641
一份其实很短的CSDI架构，速速来学！！！
【笔记】Score-based Generative Models（一）：一文通览基础理论
LittleNyima的博客
07-05 3983
一文通览 score-based models 基础理论
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值