信息量、信息熵、交叉熵、KL散度以及交叉损失函数的关系与理解

记事件$p$,在各个状态下$x_i$ 的概率为$p(x_i)$ 。(假设共n个状态）

1、 信息量：概率越大信息量越小。
$$-log(p(x_i))$$

2、 信息熵：信息量的期望值：
$$H(p)=\sum _{i=1}^{n}p(x_i)(-log(p(x_i)))$$

3、 交叉熵：假设我们不知道$p$的概率分布，我们用一个概率分布$q$去近似，$q$在各个状态下的概率 。从采样上来看，我们能够看到事件 的真实表现概率 ，那么用$q$来近似$p$的信息量为交叉熵。
$$H(p,q)=\sum _{i=1}^{n}p(x_i)(-log(q(x_i)))$$
4、 KL散度：我们可以把$H(p,q)$ 看成一个预测值，$H(p)$为真实值，是可以观察到的是个常值，预测值与真实值之间的差值，就是信息的损失也叫KL散度。
$$\begin{array}{l}KL(p,q)=H(p,q)-H(p)\\ =\sum _{i=1}^{n}p(x_i)(-log(q(x_i)))-\sum _{i=1}^{n}p(x_i)(-log(p(x_i)))\\ =\sum _{i=1}^{n}p(x_i)\frac{p(x_i)}{q(x_i)}\end{array}$$
为什么不反过来减：
答：一般作为损失函数我们希望损失函数越小越好，在这个问题中，在对p(x)进行逼近时，由于我们已经进行了one-hot编码，所以只有真实标签的那一项对于KL散度是有贡献的即：
$$\begin{array}{l}KL(p,q)=H(p,q)-H(p)\\ =\sum _{i=1}^{n}p(x_i)(-log(q(x_i)))-\sum _{i=1}^{n}p(x_i)(-log(p(x_i)))\\ =\sum _{i=1}^{n}p(x_i)\log (\frac{p(x_i)}{q(x_i)})-->总是为正\\ =p(x_i)log(\frac{p(x_i)}{q(x_i)}),(p(x_i)=1)\\ =\mathrm{l}\mathrm{o}\mathrm{g}(\frac{1}{q(x_i)})-->真实标签处的估计\end{array}$$
对于上式当然分母为1是KL散度最小，也就是在预测过程中，我们希望在我们想要预测的标签上，概率越接近于1越好！。
至此，信息量，信息熵、交叉熵、KL散度与交叉熵损失函数的关系总结完成了。