Kullback–Leibler 距离(相对熵)

https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence

$D_{KL}(P|Q)$用于度量同一概率空间两个概率分布$P$,$Q$之间的距离,在实际应用中$P$往往代表的是数据真实的分布,而$Q$一般是对$P$的逼近.

若$\mu$是$X$上的任意度量,若Radon-Nikodym 导数存在,即$p=\frac{dP}{d\mu}$,$q=\frac{dQ}{d\mu}$,

$$D_{KL}(P|Q)=\int_X p\log\frac{p}{q}d\mu$$

若 P,Q