KL散度

KL散度

  相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）,KL距离。

概念解释

  它是描述两个概率分布P和Q差异的非对称性的度量（注意与JS散度区别）。它是非对称的，这意味着D(P||Q) ≠ D(Q||P)。
  它衡量的是相同事件空间里的两个概率分布的差异情况。其物理意义是：在相同事件空间里，概率分布P(x)的事件空间，若用概率分布Q（x）编码时，平均每个基本事件（符号）编码长度增加了多少比特。我们用D（P||Q）表示KL距离，计算公式如下：

  常用于NLP。在SNE可视化时也使用了KL距离作为优化函数。

  另外，有人将KL散度称为KL距离，但事实上，KL散度并不满足距离的概念 虽然KL被称为距离，但是其不满足距离定义的三个条件：1）非负性；2）对称性（不满足，P到Q的距离，不等于Q到P的距离）；3）三角不等式（不满足，两边之和大于第三边，两边之差小于第三边）。

与相对熵的关系

  当两个概率分布完全相同时，即P(x)=Q(X)，其相对熵为0 。我们知道，概率分布P(X)的信息熵为：

  其表示，概率分布P(x)编码时，平均每个基本事件（符号）至少需要多少比特编码。

  相对熵：Kullback–Leibler divergence
  交叉熵：cross entropy，通常“相对熵”也可称为“交叉熵”，虽然公式上看相对熵=交叉熵-信息熵，但由于真实分布p是固定的，D(p||q)由H(p,q)决定。当然也有特殊情况，彼时2者须区别对待。