KL-divergence

看论文¹的时候遇到的，该论文首先得出了衡量两个概率分布之间的距离的公式，目标函数是使这两个概率之间的距离d( · , · )尽可能小，但是由于比较难算，因此用计算KL-divergence代替d( · , · )，一时不知这是什么，因此上网查了KL-divergence，胡乱总结²如下

KL-divergence又叫相对熵(relative entropy)，衡量两个概率分布之间的不同程度。作用在于（不大清楚）：

1. Characterizing the relative (Shannon) entropy in information systems.
   描述信息系统中的相对熵。
2. Characterizing randomness in continuous time-series.
   描述连续时间序列的随机性。
3. Characterizing information gain when comparing statistical models of inference.
   在比较推理的统计模型时，描述信息增益。

最简单的情况：当KL-divergence为0时，两个分布完全相同。各种情况都用得到，应用统计学、流体力学、神经科学、篮球分析和机器学习。

但是现在的问题是，我知道他能表示两个概率分布之间的距离(不同的程度)，但是我不知道公式是怎么推导的，怎么就得到了这样的公式？（如果他们是不连续的，就可以得到下面的公式，如果是连续的，就可以把求和符号变成积分符号）
$$ d(P, Q) = D_{KL}(P||Q) = \sum_{i} P(i)\log(\frac{P(i)}{Q(i)}) $$

一些简单的例子

---

1. Tang J, Qu M, Wang M, et al. Line: Large-scale information network embedding[C]//Proceedings of the 24th International Conference on World Wide Web. International World Wide Web Conferences Steering Committee, 2015: 1067-1077. ↩︎

2. https://en.wikipedia.org/wiki/Kullback–Leibler_divergence ↩︎