KL散度、JS散度、Wasserstein距离

目录

                  1. KL散度

2. JS散度(Jensen-Shannon)

3. Wasserstein距离

---

1. KL散度

KL散度又称为相对熵，信息散度，信息增益。KL散度是是两个概率分布 P 和 Q  之间差别的非对称性的度量。 KL散度是用来 度量使用基于 Q 的编码来编码来自 PP 的样本平均所需的额外的位元数。 典型情况下，P 表示数据的真实分布，Q 表示数据的理论分布，模型分布，或 P 的近似分布。 

定义如下：

因为对数函数是凸函数，所以KL散度的值为非负数。

有时会将KL散度称为KL距离，但它并不满足距离的性质：

1. KL散度不是对称的，即 
2. KL散度不满足三角不等式。

2. JS散度(Jensen-Shannon)

JS散度度量了两个概率分布的相似度，基于KL散度的变体，解决了KL散度非对称的问题。一般地，JS散度是对称的，其取值是 0 到 1 之间。定义如下：

KL散度和JS散度度量的时候有一个问题：

如果两个分布 P,Q 离得很远，完全没有重叠的时候，那么KL散度值是没有意义的，而JS散度值是一个常数。这在学习算法中是比较致命的，这就意味这这一点的梯度为 0。梯度消失了。

3. Wasserstein距离

Wasserstein距离度量两个概率分布之间的距离，定义如下：