【深度学习】Diffusion扩散模型的逆扩散问题

1、前言

上一篇，我们讲了Diffusion这个模型的原理推导。但在推导中，仍然遗留了一些问题。本文将解决那些问题

参考论文：

①Variational Diffusion Models (arxiv.org)

②Tutorial on Diffusion Models for Imaging and Vision (arxiv.org)

视频：[Diffusion扩散模型补充-哔哩哔哩]

2、$q(x_{t-1}|x_t,x_0)$

在上篇文章中，我们说$q(x_{t-1}|x_t,x_0)$服从正态分布，但是并没有已与证明。那是因为我翻阅了大量的文章资料，都没有找到相关的证明过程。但是正当我放弃之际，我竟然找到了

首先，我们将这个概率利用贝叶斯公式展开
$$q(x_{t-1}|x_t,x_0)=\frac{q(x_{t-1},x_t|x_0)}{q(x_t|x_0)}=\frac{q(x_t|x_{t-1},x_0)q(x_{t-1}|x_0)}{q(x_t|x_0)}=\frac{q(x_t|x_{t-1})q(x_{t-1}|x_0)}{q(x_t|x_0)}$$
在此，得出$q(x_{t-1}|x_0)$为先验，$q(x_t|x_{t-1})$为似然，而$q(x_{t-1}|x_t,x_0)$则为后验

论文①里面给出这个定理

我在以前的文章，也推导出这样的一个定理
$$\begin{array}{rl}如果：& \\ & P(x)\sim N(x|{\mu }_x,{\Sigma }_x)\\ & P(y|x)\sim N(y|Ax+B,Q)\\ 那么：& \\ & P(x|y)\sim N(x|{\mu }_x-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\mu }_y,{\Sigma }_{xx}-{\Sigma }_{xy}{\Sigma }_{yy}^{-1}{\Sigma }_{yx})\end{array}$$
其中里面的${\Sigma }_{xy}$表示随机变量x，y的协方差矩阵，而${\mu }_y$是随机变量y的期望。都是可以求出来的

至于怎么求，而刚刚的定理是怎么来的，请看我以前写过的一篇博文：线性动态系统中的概率求解_随机动态系统 条件概率-CSDN博客

好，现在，我们不难发现，$P(x)$就是先验，而$P(y|x)$则是似然，$P(x|y)$就是后验。

$P(x|y)$刚好对应上面那个$q(x_{t-1}|x_t,x_0)$。那么也就是说，$P(x_{t-1}|x_t,x_0)$就是正态分布。至于是否要用刚刚的公式求出来，反而有些麻烦，其实可以直接用上一篇文章那种推导就可以了。

还有一点值得注意的是，在论文①中，里面已经强调了$q(x_{t-1}|x_0)$为先验，$q(x_t|x_{t-1})$为似然，而$q(x_{t-1}|x_t,x_0)$则为后验

其实论文还提出，如果似然跟先验满足刚刚提出的定理，就可以直接得到后验的公式。

我想说的是，论文只是为了得到后验的公式。如果我们不想得到后验的公式（比如我们只想知道后验是什么分布）

那么根据高斯分布的自共轭性质，如果先验和似然都是高斯分布，那么后验就是高斯分布。就能得出结论了。

3、重建损失问题

在上一篇文章中，对于重构项${\mathbb{E}}_{q(x_1|x_0)}[\log P(x_0|x_1)]$，我们进行了一些推导

但其实，那是我自己推的，论文里面没有提到。

虽然得到了结果，但是毕竟不是论文里面的。如果你想看论文里面的推导（毕竟我写错的概率大，而论文错的概率却很小）。可以参考论文②，里面有对重构项的推导。

想看论文里面的推导（毕竟我写错的概率大，而论文错的概率却很小）。可以参考论文②，里面有对重构项的推导。