信息论——熵——相对熵

相对熵:

相对熵：又称KL散度(Kullback–Leibler divergence)，是描述俩个概率分布P和Q差异的一种方法。

公式:

$$D_{KL}(P||Q)=-\sum_iP(i)log\frac{Q(i)}{P(i)}$$
$$D_{KL}(P||Q)=\sum_iP(i)log\frac{P(i)}{Q(i)}$$

推导：

相对熵=交叉熵 - 信息熵

$$D_{KL}(P||Q)=H(p,q)-H(p)$$
$$=\sum_{i=1}^Np(i)log_2\frac{1}{q(i)}-\sum_{i=1}^Np(i)log_2\frac{1}{p(i)}$$
$$=\sum_{i=1}^Np(i)log_2\frac{p(k)}{q(k)}$$

例:

一支小组4个球队(a、b、c、d)，出现的概率分别为$p_i=(\frac{1}{2},\frac{1}{4},\frac{1}{8},\frac{1}{8})$,非真实概率分布为$p_i=(\frac{1}{4},\frac{1}{4},\frac{1}{4},\frac{1}{4})$。

相对熵=交叉熵 - 信息熵 =2-1.75=0.25。

如果对信息熵和交叉熵的计算不了解，请点击下面的链接。
信息熵
交叉熵