KL散度
KL散度:
多元分布到一元
对于各分量相互独立的多元分布:
KL散度可以分解为边缘分布的KL散度之和:
所以,我们把注意力集中在一维分布间KL散度的计算上。
正态分布
贝叶斯神经网络中,正态分布常用作变分分布和先验分布。
KL散度为:
详细推导-VAE中的例子
两个多变量高斯分布之间的KL散度是变分自编码中损失函数推导的重要步骤
结果的第一项:
第二项:
第一项和第二项相加则
VAE中,则:
https://zhuanlan.zhihu.com/p/55778595