KL散度

KL 散度是一种衡量两个概率分布的匹配程度的指标，两个分布差异越大，KL散度越大。

定义如下：

其中 p(x) 是目标分布，q(x)是去匹配的分布，如果两个分布完全匹配，那么

KL 散度又叫相对熵，在信息论中，描述的是q去拟合p的产品的信息损耗。

KL 散度是非对称，即 D(p||q) 不一定等于 D(q||p) 。

KL 散度经常作为优化的目标。