KL散度

KL散度(Kullback–Leibler divergence)

KL散度是度量两个分布之间差异的函数。在各种变分方法中，都有它的身影。

 

转自：https://zhuanlan.zhihu.com/p/22464760

参考：http://www.cnblogs.com/huangshiyu13/p/6898212.html

一维高斯分布的KL散度

 

 

多维高斯分布的KL散度：

KL散度公式为：

----------------------------------------------------------------------------------------------------------------

基本概念补充：

相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量。在在信息论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值，若其中一个概率分布为真实分布，另一个为理论（拟合）分布，则此时相对熵等于交叉熵（cross entropy）与真实分布的信息熵之差，表示使用理论分布拟合真实分布时产生的信息损耗。

相对熵是非对称性度量，即，

 ​​​​  恒大于等于0，且在  时取0。

相对熵（KL散度）有两个主要的性质，如下：

（1）不对称性

尽管KL散度从直观上是个度量或距离函数，但它并不是一个真正的度量或者距离，因为它不具有对称性，即

 

（2）非负性

相对熵的值为非负值，即

  ，证明可用吉布斯不等式。

参考资料：https://baike.baidu.com/item/%E7%9B%B8%E5%AF%B9%E7%86%B5/4233536?fr=aladdin