KL散度(相对熵)(双向KL散度) & JS散度

KL散度

KL-divergence(Kullback–Leibler divergence)，KL散度，KL距离，又叫相对熵(relative entropy)，衡量两个概率分布之间的不同程度，是描述两个概率分布P和Q差异的一种方法

就是信息论学的相对熵

最简单的情况：当KL-divergence为0时，两个分布完全相同。

 

P和Q越相似，KL散度越小

KL散度的取值范围是[0,+∞]

KL divergence是非负的，不对称的

KL散度计算过程相对熵（KL散度）计算过程_手撕机的博客-CSDN博客_kl散度计算

双向KL散度

在R-Dropout中有出现，由于 KL 散度本身具有不对称性(即KL(P|Q)不等于KL(Q|P))，作者通过交换这两种分布的位置以间接使用整体对称的 KL 散度，论文中称之为双向 KL 散度

高斯分布的KL散度

JS散度

JS散度是基于KL散度的变体，解决了KL散度非对称的问题

同样是二者越相似，JS散度越小。

• JS散度的取值范围在0-1之间，完全相同时为0
• JS散度是对称的