kl散度度量分布_机器学习常用的概率分布距离度量

余弦相似度

通过夹角余弦来衡量两个向量的相似性，但不能直接两个随机变量分布的差异。向量

的余弦相似度为：

注意：余弦相似度使用前，要对向量进行归一化。

互信息(Mutual Information)

互信息度量的是联合分布

和边缘分布乘积

之间的相似性

可以看出，互信息大于等于0，且当随机变量

和

相互独立的时候才会等于0。

KL散度(KL Divergence)

KL散度又称为相对熵(relative entropy)，是度量两个分布

和

之间的不相似度(dissimilarity)。

分解分子分母可得：

KL散度可以看做是用分布

而不是真