《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》精读

本周精读的文章是《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》。这篇文章是DDPM的主要灵感来源，并且DDPM的介绍也是主要针对这篇文章来写的，因此精读这篇文章对于了解DDPM是很有必要的。

摘要

文章的摘要主要写了机器学习的一个重要问题就是在对数据集进行建模时，要使用灵活的概率分布的同时对学习、采样、推理和评估易于实现。本文的重点就是提出了一种灵活且易于实现的方法，并且是从非平衡热力学得到的灵感。核心是缓慢地摧毁数据分布的结构，再学习一个反向的扩散过程。

介绍

概率模型的难点就是很难在灵活性和易得性上实现兼得。随后作者列举了一系列过往的方法，并表明这些方法可以改进这种平衡，但不能移除。

这篇文章的贡献主要有四点：一、模型结构特别灵活；二、可以进行准确的采样；三、可以与其他分布进行简单的乘法；四、模型的似然函数以及独立状态的概率非常方便评估。

最后，作者列举了该方向的一系列往期成果。

算法

算法简单来说分为正向过程和反向过程。正向过程一步步在模型里增加噪声，并且整个过程为一个马尔科夫链，因此可以不需要中间过程就可以对任意一步进行预判。反向过程为正向过程的逆过程。

作者随后对模型概率进行推导，表示生成模型分配给数据的概率为不易得到的，但是通过AIS和Jarzynski等式的启发，可以推导出相对好的结果。

训练方面，主要是对模型的对数似然进行优化。

至于乘法分布和计算后验，以及反向过程的熵等，说实话，没看懂。。。。

实验

作者分别在玩具场景和真实场景下进行了实验，均得到了较好的结果。

总结

对整篇文章进行归纳，提出了新的算法用于对概率分布进行建模，并且可以保证对概率的准确采样和评估。

附录

由于我看的版本没有摘抄到附录，因此附录部分需要找寻其他版本重新查看。

自评

对于这篇文章，我认为最大的创新点就是把热力学不平衡的特点移植到图像生成上，并且取得了很好的效果。这是一个值得借鉴的思路，因为它引用的论文是上个世纪的文章，而不是紧跟潮流的最新弄潮儿。而它的结果也是好的，可以说是在5年后开创了一个新的最热潮流。