扩散模型公式理解

最新推荐文章于 2024-07-22 21:21:48 发布

WALL-SQ

最新推荐文章于 2024-07-22 21:21:48 发布

阅读量414

点赞数 7

文章标签：机器学习人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_39304630/article/details/136449656

版权

1.扩散过程优化公式

图摘选自李宏毅老师课程PPT

推导过程：本过程的推导需要使用分布合并和重参数化

分布合并-对于独立的两个正态分布 $X\sim N(\mu_{1},\sigma_{1}^{2} )$ ， $Y\sim N(\mu_{2},\sigma_{2}^{2} )$ ，那么有 $Z=X+Y\sim N(\mu_1 + \mu_2, \sigma_{1}^{2}+\sigma_{2}^{2})$ 。

重参数化：若需要采样一个 $\alpha \sim N(\mu,\sigma^2 )$ ，则可以通过采样一个 $\epsilon \sim N(0,1)$ ，进行逆标准化过程，即 $\alpha = \mu + \sigma * \epsilon$ 。

现在我们反过来看上述公式的采样合并过程，分别看两个分布的形式：

$\sqrt{1-\beta_2}\sqrt{\beta_1} * \epsilon \sim N(0 * \sqrt{1-\beta_2}\sqrt{\beta_1}, 1 * (\sqrt{1-\beta_2}\sqrt{\beta_1})^2)=N(0,\beta_1-\beta_1*\beta_2)$

$\sqrt{\beta_2} * \epsilon \sim N(0 * \sqrt{\beta_2}, 1 * (\sqrt{\beta_2})^2)=N(0,\beta_2)$

由于两个分布是独立的，此时可以将两个分布合并为：

$N(0,\beta_1-\beta_1*\beta_2+\beta_2)$

再利用重参数化，可得到：

$\sqrt{\beta_1-\beta_1*\beta_2+\beta_2} * \epsilon \sim N(0,\beta_1-\beta_1*\beta_2+\beta_2)$

而实际上：

$\sqrt{\beta_1-\beta_1*\beta_2+\beta_2} = \sqrt{1-(1-\beta_1)(1-\beta_2)}$

最终得证上式。

关注

7
点赞
踩
8

收藏

觉得还不错? 一键收藏
1
评论
扩散模型公式理解

推导过程：本过程的推导需要使用分布合并和重参数化。分布合并-对于独立的两个正态分布。图摘选自李宏毅老师课程PPT。重参数化：若需要采样一个。，进行逆标准化过程，即。，则可以通过采样一个。
复制链接

扫一扫

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。