从工程和理论角度理解DDPM（一）

从工程和理论角度理解DDPM

说明

紧接着上一篇VAE，继续整理DDPM。

1.与VAE的区别和关系

设数据集$X$的分布 $P(X)$，其对于我们是未知的，但可以从里面进行采样。假设采样了一个观测变量$x_0$。
从极大似然出发，然后引入隐变量，再到变分推导这一系列过程其实都和VAE一致，只不过隐变量改了一下

1. 隐变量由单独一个$z$变成了$x_1,x_2,\dots ,x_T$，注意这些不是和$x_0$平行的样本，而是由$x_0$加噪得到的隐变量。
2. 隐变量的维度是没有像VAE一样经过压缩的，即维度和$x_0$一致。
3. 边缘概率密度公式变为了：
   $$P(x_0)=\int P(x_{0:T})d{x}_{1:T},P(x_{0:T})=P(x_T)\prod _{t=1}^T{P}_{\theta }\left(x_{t-1}\mid x_t\right)$$
4. 贝叶斯公式变为了：
   $$P(x_0)=\frac{P(x_{0:T})}{P(x_{1:T}\mid x_0)},P(x_{1:T}\mid x_0)=\prod _{t=1}^{T}P\left(x_t\mid x_{t-1}\right)$$

2.变分推断

变分推断的公式基本和VAE的一致，最终也是转换成求解ELBO的代理任务
概率密度公式推导：
$$\begin{array}{rl}\log P(x_0)& =\log \int P(x_{0:T})d{x}_{1:T}\\ & =\log \int \frac{P(x_{0:T})d{x}_{1:T}{Q}_{\varphi }(x_{1:T}\mid x_0)}{Q_{\varphi }(x_{1:T}\mid x_0)}d{x}_{1:T}\\ & =\log {\mathbb{E}}_{Q_{\varphi }(x_{1:T}\mid x_0)}\left[\frac{P(x_{0:T})}{Q_{\varphi }(x_{1:T}\mid x_0)}\right]\\ & \ge {\mathbb{E}}_{Q_{\varphi }(x_{1:T}\mid x_0)}\left[log\frac{P(x_{0:T})}{Q_{\varphi }(x_{1:T}\mid x_0)}\right]\end{array}$$
贝叶斯公式推导：
$$\begin{array}{rl}logP(x_0)& =log\frac{P(x_{0:T})}{P(x_{1:T}\mid x_0)}\\ & =log\frac{P(x_{0:T})}{P(x_{1:T}\mid x_0)}\int Q_{\varphi }(x_{1:T}\mid x_0)d{x}_{1:T}\\ & =\int Q_{\varphi }(x_{1:T}\mid x_0)log\frac{P(x_{0:T})}{P(x_{1:T}\mid x_0)}d{x}_{1:T}\\ & ={\mathbb{E}}_{Q_{\varphi }(x_{1:T}\mid x_0)}\left[log\frac{P(x_{0:T})Q_{\varphi }(x_{1:T}\mid x_0)}{P(x_{1:T}\mid x_0)Q_{\varphi }(x_{1:T}\mid x_0)}\right]\\ & ={\mathbb{E}}_{Q_{\varphi }(x_{1:T}\mid x_0)}\left[log\frac{P(x_{0:T})}{Q_{\varphi }(x_{1:T}\mid x_0)}\right]+{\mathbb{E}}_{Q_{\varphi }(x_{1:T}\mid x_0)}\left[log\frac{Q_{\varphi }(x_{1:T}\mid x_0)}{P(x_{1:T}\mid x_0)}\right]\\ & ={\mathbb{E}}_{Q_{\varphi }(x_{1:T}\mid x_0)}\left[log\frac{P(x_{0:T})}{Q_{\varphi }(x_{1:T}\mid x_0)}\right]+D_{\mathrm{KL}}\left(Q_{\varphi }(x_{1:T}\mid x_0)\Vert P(x_{1:T}\mid x_0)\right)\\ & \ge {\mathbb{E}}_{Q_{\varphi }(x_{1:T}\mid x_0)}\left[log\frac{P(x_{0:T})}{Q_{\varphi }(x_{1:T}\mid x_0)}\right]\end{array}$$

3.ELBO继续推导

$$\begin{array}{rl}ELBO& ={\mathbb{E}}_{Q_{\varphi }(x_{1:T}\mid x_0)}\left[log\frac{P(x_{0:T})}{Q_{\varphi }(x_{1:T}\mid x_0)}\right]\\ & =\underset{\text{reconstruction term }}{\underbrace{{\mathbb{E}}_{Q_{\varphi }(x_1\mid x_0)}\left[\log P_{\theta }\left(x_0\mid x_1\right)\right]}}-\underset{\text{prior matching term }}{\underbrace{D_{\mathrm{KL}}\left(Q_{\varphi }\left(x_T\mid x_0\right)\Vert P\left(x_T\right)\right)}}\\ & -\sum _{t=2}^T\underset{\text{denoising matching term }}{\underbrace{{\mathbb{E}}_{Q_{\varphi }(x_t\mid x_0)}\left[D_{\mathrm{KL}}\left(Q_{\varphi }\left(x_{t-1}\mid x_t,x_0\right)\Vert P_{\theta }\left(x_{t-1}\mid x_t\right)\right)\right]}}\end{array}$$
$reconstructionterm$和VAE一样，是衡量从$x_1$到$x_0$的重建程度。

$priormatchingterm$由于$Q_{\varphi }\left(x_T\mid x_0\right)$不像VAE一样需要神经网络去拟合，而是人工预设的加噪步骤，按照人工设定最终一定会趋向于标准正态分布，所以该项没有可学习参数，所以该项可以忽略。

$denoisingmatchingterm$这一项是最重要的一项，也是和VAE的区别，DDPM网络的学习主要也是靠这一项。

4.$reconstructionterm$

$reconstructionterm$ 是将最后一步的加噪图像 $x_1$ 生成去噪图像 $x_0$ 的极大似然估计，为了生成更好的图像，我们需要对每个像素都运用极大似然估计，使得图像上每个像素值都满足离散的对数似然。

为了达到这个目的，将逆扩散过程中的最后从 $x_1$ 到 $x_0$ 的转换设置为独立的离散计算方式。 即在最后一个转换过程在给定 $x_1$ 下得到图像 $x_0$ 满足对数似然，假设像素与像素之间是相互独立的：
$$P_{\theta }\left(x_0\mid x_1\right)=\prod _{i=1}^D{P}_{\theta }\left(x_0^i\mid x_1^i\right)$$
$D$ 代表 $x$ 的维度，上标 $i$ 表示图像中的一个坐标位置。现在的目标是确定给定像素的值可能性有多大，也就是想要知道对应时间步 $t=1$ 下噪声图像 $x$ 中相应像素值的分布：
$$\mathcal{N}\left(x;{\mu }_{\theta }^i\left(x_1,1\right),{\sigma }_1^2\right)$$
其中 $t=1$ 的像素分布来自多元高斯分布，其对角协方差矩阵允许我们将分布拆分为单变量高斯的乘积：
$$\mathcal{N}\left(x;{\mu }_{\theta }\left(x_1,1\right),{\sigma }_1^2\mathbb{I}\right)=\prod _{i=1}^D\mathcal{N}\left(x;{\mu }_{\theta }^i\left(x_1,1\right),{\sigma }_1^2\right)$$
现在假设图像已经从0-255的数值之间，经过归一化在[-1,1]的范围内。在 t=0 时给定每个像素的像素值，最后一个时间步 t=1 的转换概率分布 $p_{\theta }\left(x_0\mid x_1\right)$ 的值就是每个像素值的乘积。所以：
$$\begin{array}{rl}{P}_{\theta }\left({\mathbf{x}}_0\mid {\mathbf{x}}_1\right)& =\prod _{i=1}^D{\int }_{{\delta }_{-}\left(x_0^i\right)}^{{\delta }_{+}\left(x_0^i\right)}\mathcal{N}\left(x;{\mu }_{\theta }^i\left({\mathbf{x}}_1,1\right),{\sigma }_1^2\right)dx\\ {\delta }_{+}(x)& =\{\begin{array}{ll}\infty & \text{ if }x=1\\ x+\frac{1}{255}& \text{ if }x<1\end{array}{\delta }_{-}(x)=\{\begin{array}{ll}-\infty & \text{ if }x=-1\\ x-\frac{1}{255}& \text{ if }x>-1\end{array}\end{array}$$
这个公式来自原论文，这里解析一下它的含义。就是我们要将最后一步的加噪图像 $x_1$ 拟合去燥图像 $x_0$ ，把图像的每一个像素点都设为一个高斯分布，一共 $D$ 个像素点。而 $x_0$ 每个像素点原本的取值范围为 { 0 , 1 , … , 255 } \{0,1, \ldots, 255\} {0,1,…,255} ，经过归一化映射到了 $[-1,1]$ 范围内。

现在我们把单独取出一个 $x_1$ 上的像素点 $x_1^i$，它服从分布 $\mathcal{N}\left(x;{\mu }_{\theta }^i\left(x_1,1\right),{\sigma }_1^2\right)$，需要拟合的目标为 $x_0$ 上的对应位置像素点 $x_0^i$ ，而 $x_0^i$ 的取值范围由原本的离散空间 { 0 , 1 , … , 255 } \{0,1, \ldots, 255\} {0,1,…,255} 映射到了空间 $[-1,1]$， { − 1 , − 1 + 2 255 , . . . . , 1 − 2 255 , 1 } \{-1,-1 + \frac{2}{255}, ...., 1- \frac{2}{255}, 1 \} {−1,−1+2552​,....,1−2552​,1}，然后再映射到连续空间$(-\infty ,-1+\frac{1}{255})$，$(-1+\frac{1}{255},-1+\frac{3}{255})$
所以每个原本的离散值在连续空间中对应一个区间，而区间映射的公式就是：
$$\begin{array}{rl}{\delta }_{+}(x)& =\{\begin{array}{ll}\infty & \text{ if }x=1\\ x+\frac{1}{255}& \text{ if }x<1\end{array}{\delta }_{-}(x)=\{\begin{array}{ll}-\infty & \text{ if }x=-1\\ x-\frac{1}{255}& \text{ if }x>-1\end{array}\end{array}$$

5.$denoisingmatchingterm$

$$\sum _{t=2}^T\underset{\text{denoising matching term }}{\underbrace{{\mathbb{E}}_{Q_{\varphi }(x_t\mid x_0)}\left[D_{\mathrm{KL}}\left(Q_{\varphi }\left(x_{t-1}\mid x_t,x_0\right)\Vert P_{\theta }\left(x_{t-1}\mid x_t\right)\right)\right]}}$$

$Q_{\varphi }\left(x_{t-1}\mid x_t,x_0\right)$代表ground truth，即给定$x_t$和$x_0$后$x_{t-1}$的真实分布。因为加噪过程是全程人工参与的，透明的，直观一些就是我们是知道$x_{t-1}$到$x_t$这一步加了什么噪音的得到了具体分布，所以我们就可以知道从$x_t$到$x_{t-1}$这一步需要减去哪些噪音，所以$Q_{\varphi }\left(x_{t-1}\mid x_t,x_0\right)$对我们来说就是ground truth。

$P_{\theta }\left(x_{t-1}\mid x_t\right)$是我们需要学习的网络（原论文中就是那个UNet）拟合的去噪过程，需要受到ground truth的监督。

由于是个累加，所以我们单独拿出第$t$步来讨论：
$$D_{\mathrm{KL}}\left(Q_{\varphi }\left(x_{t-1}\mid x_t,x_0\right)\Vert P_{\theta }\left(x_{t-1}\mid x_t\right)\right)$$
接下来的目标就是求出ground truth $Q_{\varphi }\left(x_{t-1}\mid x_t,x_0\right)$的表达式。

文章太长发不出去，接下一章