【学习笔记】Probabilistic Diffusion Model

aJay99

已于 2022-12-18 13:23:34 修改

阅读量631

点赞数 3

文章标签：学习人工智能

于 2022-12-18 13:21:34 首次发布

本文链接：https://blog.csdn.net/aJay99/article/details/128338679

版权

本文探讨了概率扩散模型的基础，包括条件概率、高斯分布的KL散度、VAE（变分自编码器）及其多层扩展。详细介绍了扩散过程、逆扩散过程以及后验条件概率的计算，最后讨论了目标数据分布的似然函数。内容结合了马尔可夫假设和高斯分布理论，适用于机器学习和人工智能的学习者。

摘要由CSDN通过智能技术生成

本文内容核心内容非原创，大部分摘抄自该视频教程，详细讲解请移步原视频。个人在此基础上添加补充了一些公式的推导和证明，仅供学习参考，如有任何疑问欢迎在评论区指出。

一. 条件概率公式和高斯分布的KL散度

1. 条件概率的一般形式

$P(A,B,C) = P(C|B,A) P(B,A) = P(C|B,A) P(B|A) P(A)$

$P(B,C|A) = \frac{P(A,B,C)}{P(A)} = \frac{P(B,A)}{P(A)} \cdot \frac{P(A,B,C)}{P(B,A)} = P(B|A) P(C|B,A)$

2. 基于马尔可夫假设的条件概率

如果A、B、C满足马尔可夫关系 $A \rightarrow B \rightarrow C$ ，那么有

$P(A,B,C) = P(C|B,A) P(B|A) P(A) = P(C|B) P(B|A) P(A)$

$P(B,C|A) = P(B|A) P(C|B,A) = P(B|A) P(C|B)$

3. 高斯分布的KL散度公式

对于两个(连续型)随机变量，它们的KL散度定义为：

$D_{KL}(P||Q) = \int_{-\infty}^{\infty} p(x) ln\frac{p(x)}{q(x)}dx$

若 $P \sim N(\mu_1, \sigma_1^2), Q \sim N(\mu_2, \sigma_2^2)$ ，则有结论：

$D_{KL}({P||Q}) = log\frac{\sigma_2}{\sigma_1} + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2\sigma_2^2} - \frac{1}{2}$

证明：

$p(x) = (2\pi \sigma_1^2)^{-\frac{1}{2}} exp\{ -\frac{1}{2\sigma_1^2}(x-\mu_1)^2 \}$

$q(x) = (2\pi \sigma_2^2)^{-\frac{1}{2}} exp\{ -\frac{1}{2\sigma_2^2}(x-\mu_2)^2 \}$

$\Rightarrow \frac{p(x)}{q(x)} = (\frac{\sigma_1^2}{\sigma_2^2})^{-\frac{1}{2}} exp\{ -[\frac{1}{2\sigma_1^2}(x-\mu_1)^2 - \frac{1}{2\sigma_2^2}(x-\mu_2)^2] \}$

$log(\frac{p(x)}{q(x)}) = log\frac{\sigma_2}{\sigma_1} - [\frac{1}{2\sigma_1^2}(x-\mu_1)^2 - \frac{1}{2\sigma_2^2}(x-\mu_2)^2]$

由于 $p(x)$ 是均值为 $\mu_1$ ，方差为 $\sigma_1^2$ 的高斯分布的密度函数，其有如下性质：

（1） $\int_{-\infty}^{\infty} p(x) dx = 1$

(2) $\mathbb{E} [P] = \int_{-\infty}^{\infty} x p(x) dx = \mu_1$

(3) $Var(P) = \int_{-\infty}^{\infty} (x-\mu_1)^2 p(x) dx = \sigma_1^2$

(4) $\mathbb{E} [P^2] = \int_{-\infty}^{\infty}x^2 p(x) dx = Var(P) + \mathbb{E}^2[P] = \sigma_1^2 + \mu_1^2$

于是KL散度公式可化简为：

$\begin{align*} D_{KL}(P||Q) &= \int_{-\infty}^{\infty} p(x) log(\frac{\sigma_2}{\sigma_1}) dx - \frac{1}{2\sigma_1^2}\int_{-\infty}^{\infty}(x-\mu_1)^2 p(x) dx + \frac{1}{2\sigma_2^2}\int_{-\infty}^{\infty}(x-\mu_2)^2 p(x) dx \\ &= log(\frac{\sigma_2}{\sigma_1}) - \frac{\sigma_1^2}{2\sigma_1^2} + \frac{1}{2\sigma_2^2}[\int_{-\infty}^{\infty} x^2p(x)dx - 2\mu_2\int_{-\infty}^{\infty} xp(x)dx + \mu_2^2 \int_{-\infty}^{\infty} p(x)dx] \\ &= log(\frac{\sigma_2}{\sigma_1}) - \frac{1}{2} + \frac{1}{2\sigma_2^2}[\sigma_1^2 + \mu_1^2 - 2\mu_1\mu_2 + \mu_2^2] \\ &= log(\frac{\sigma_2}{\sigma_1}) + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2\sigma_2^2} - \frac{1}{2} \end{align*}$