Deep Unsupervised Learning using Nonequilibrium Thermodynamics论文翻译学习

已于 2023-02-24 12:48:36 修改
阅读量786 收藏
点赞数
分类专栏： 论文自学翻译 文章标签： 扩散模型 机器学习
于 2023-02-23 21:36:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/io569417668/article/details/129190783
版权
本文介绍了利用非平衡统计物理学中的扩散过程来创建灵活且可处理的生成模型的新方法。通过马尔可夫链逐步将简单分布转化为复杂数据分布，该方法允许精确的抽样、易于计算后验概率和模型对数似然性。研究还展示了在二维瑞士卷、二进制序列、MNIST手写数字和自然图像数据集上训练的高对数似然模型，证明了这种方法的有效性。
摘要由CSDN通过智能技术生成

Deep Unsupervised Learning using Nonequilibrium Thermodynamics

Author: Jascha Sohl-Dickstein
Link: http://proceedings.mlr.press/v37/sohl-dickstein15.pdf
Score: ⭐️⭐️⭐️⭐️⭐️
Status: Done
Type: Academic Journal
备注: 首篇扩散模型论文

A central problem in machine learning involves modeling complex data-sets using highly flexible families of probability distributions in which learning, sampling, inference, and evaluation are still analytically or computationally tractable. Here, we develop an approach that simultaneously achieves both flexibility and tractability. The essential idea, inspired by non-equilibrium statistical physics, is to systematically and slowly destroy structure in a data distribution through an iterative forward diffusion process. We then learn a reverse diffusion process that restores structure in data, yielding a highly flexible and tractable generative

了解本专栏 订阅专栏 解锁全文 超级会员免费看
梦醒blue
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
（三）1. 深度生成模型-扩散模型(非均衡热力学的深度无监督学习)
weixin_40614311的博客
09-30 2305
非均衡热力学的深度无监督学习
【Deep Unsupervised Learning using Nonequilibrium Thermodynamics】扩散模型开山之作
qq_22583741的博客
05-20 755
机器学习中的一个核心问题涉及使用高度灵活的概率分布家族来建模复杂的数据集，其中学习、采样、推理和评估仍然是解析或计算上可行的。在这里，我们开发了一种同时实现灵活性和可处理性的方法。这个基本的想法，受到非平衡统计物理的启发，是通过一个迭代的前向扩散过程系统地并缓慢地破坏数据分布中的结构。然后，我们学习一个反向扩散过程，恢复数据中的结构，从而产生一个高度灵活且可处理的数据的生成模型。这种方法使我们能够快速地学习、从深度生成模型中采样和评估概率，这些模型有数千层或时间步，以及在学习的模型下计算条件和后验概率。
IDDPM论文阅读
zzfive的博客
10-07 5629
IDDPM论文阅读
Deep Unsupervised Learning using Nonequilibrium Thermodynamics
WilsonAir的博客
04-04 865
这意味着 r(x(t))r(x(t+1)) 可以被视为对 p (x(t)|x(t+1)) 的微小扰动。̃p (x(0···T )) 是修改后的反向轨迹，它从分布 ̃p (x(T )) =1 ̃ZTp (x(T )) r (x(T )) 开始，并通过中间分布序列进行。诸如计算后验以进行信号去噪或缺失值推断等任务需要将模型分布 p (x(0)) 与第二个分布或有界正函数 r (x(0)) 相乘，产生一个新的分布 ̃p (x(0)) ∝ p (x(0)) r (x(0))。
扩散模型（2015年）
zephyr_wang的博客
05-21 1202
本文根据2015年5月的《deep unsupervised learning using nonequilibrium thermodynamics》翻译总结的。本文应该是最早提出扩散模型的文章，然后2020年DDPM对其进行了改进，使得扩散模型大火。时间跨度了5年啊。概率模型一般要在两个冲突的目标间权衡：可追溯（tractability）和灵活性（flexibility）。当模型是可追溯时，其可以被分析评估并容易匹配到数据；但是这些模型不能恰当的描述丰富的数据结构。
《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》精读
qq_43636273的博客
10-07 380
文章的摘要主要写了机器学习的一个重要问题就是在对数据集进行建模时，要使用灵活的概率分布的同时对学习、采样、推理和评估易于实现。本文的重点就是提出了一种灵活且易于实现的方法，并且是从非平衡热力学得到的灵感。核心是缓慢地摧毁数据分布的结构，再学习一个反向的扩散过程。概率模型的难点就是很难在灵活性和易得性上实现兼得。随后作者列举了一系列过往的方法，并表明这些方法可以改进这种平衡，但不能移除。这篇文章的贡献主要有四点：一、模型结构特别灵活；二、可以进行准确的采样；三、可以与其他分布进行简单的乘法；
论文阅读:Unsupervised Deep Learning by Neighbourhood Discovery
newworld123made的博客
12-11 972
Unsupervised Deep Learning by Neighbourhood Discovery 论文的idea Unsupervised Feature Learning via Non-Parametric Instance Discrimination提出将每一个sample看作一个instance，这样便可以learn出比较好的结果。这样即便是类别一致的instance也要被强制...
无监督学习入门 Hands-On Unsupervised Learning Using Python
10-25
Hands-On Unsupervised Learning Using Python How to Build Applied Machine Learning Solutions from Unlabeled Data Ankur A. Patel
Deep Learning深度学习入门论文
08-27
有2012年的两篇论文Building High-level Features Using Large Scale Unsupervised Learning和Large Scale Distributed Deep Networks，其中后篇较好，其中第一次提到GPU对深度学习计算进行提速，其描述的情形大致是...
deep unsupervised learning
01-28
a very useful tutorial document for deep learning.
Deep Unsupervised Learning.pdf
最新发布
07-11
本文《Deep Unsupervised Learning.pdf》探讨了如何利用非平衡热力学原理，在深度无监督学习领域构建高度灵活且计算可行的概率分布模型。研究的核心在于解决概率模型中的一个基本矛盾——灵活性与可计算性之间的权衡...
From neural PCA to deep unsupervised learning..pdf
03-01
这篇文章的标题是《From neural PCA to deep unsupervised learning》，表明其主题涉及从神经网络主成分分析（PCA）到深度无监督学习的转变和发展。神经PCA是一种利用主成分分析的神经网络方法，它能够在数据中发现...
【深度学习】专题解读｜扩散模型在图上的研究进展
fengdu78的博客
12-20 1468
1. 前言 随着 Stable Diffusion 在 AI 绘图领域取得巨大成功，扩散模型 (Diffusion Model) 作为当下最强大的一类生成模型，引起了 AI 研究者广泛的兴趣。扩散模型最早可追溯到 ICML'15 的一篇论文《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》，在这篇论文中，作者首次将扩散模...
高斯扩散模型_基于扩散概率模型 (Diffusion Probabilistic Model ) 的音频生成模型
weixin_39583013的博客
11-24 3759
近两年音频生成是一个非常火热的研究课题，其目的主要在于如何将低维度、低帧率的输入特征转换成高采样率的语音信号。针对该任务，现有的技术，比如自回归网络和GAN，都处于瓶颈阶段，无法同时满足高音质和高实时率的要求。扩散概率模型的提出，为该问题提出了新的解决方向。简述在条件音频生成任务中，比如神经声码器 (neural vocoder)，端到端TTS，其大体框架都是将同样长度的高斯噪声通过一个生成模型映...
扩散模型原理和pytorch代码实现初学资料汇总
qq_44941689的博客
08-24 4708
扩散模型原理和pytorch代码实现初学资料汇总
PyTorch笔记 - Diffusion Model 公式推导 (1)
Mystra
11-16 916
GAN，Generative Adversarial Network，生成对抗网络Diffusion Model，扩散模型VAE，Variational Autoencoders，变分自编码器。
diffusion model原理和算法伪代码
weixin_43721070的博客
07-08 2144
本文从前置数学知识和VAE出发，介绍了扩散模型的原理，最后给出了伪代码实现。
【GAN ZOO阅读系列】UNSUPERVISED REPRESENTATION LEARNING WITH DCGAN 使用深度卷积生成对抗网络的无监督的表示学习
热门推荐
hyczkg的博客
09-23 1万+
Alec Radford & Luke Metz indico Research Boston, MA {alec,luke}@indico.io Soumith Chintala Facebook AI Research New York, NY soumith@fb.com 引用请注明出处 原文链接https://arxiv.org/abs/1511.06434 参考翻译https:/...
Supervised learning, Unsupervised learning Reinforcement learning
04-11
Supervised learning, unsupervised learning, and reinforcement learning are all different types of machine learning. Supervised learning is when the machine is given labeled data to learn from, while unsupervised learning is when the machine is given unlabeled data and is tasked with finding patterns or structure in the data. Reinforcement learning is when the machine learns through a trial-and-error process by receiving feedback and rewards for certain actions.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦醒blue

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值