解读看论文过程中遇到的各种数学概念——跨语种迁移学习

KL-Divergence(KL散度)

概念：又叫相对熵，KL 散度是一种衡量两个概率分布的匹配程度的指标，两个分布差异越大，KL散度越大。

定义：

         

其中 p(x) 是目标分布，q(x)是去匹配的分布，如果两个分布完全匹配，那么 D(p||q) = 0。KL散度的结果是非负的。

注意点：

1. 散度不是距离。因为KL散度不具有交换性，所以不能理解为“距离”的概念，衡量的并不是两个分布在空间中的远近，更准确的理解还是衡量一个分布相比另一个分布的信息损失(infomation lost) 。