什么是交叉熵？

一、信息量

信息量来衡量一个事件的不确定性，一个事件发生的概率越大，其携带的信息量就越小。

设$X$是一个离散型随机变量，其取值为集合$X=x_0,x_1,\dots ,x_n$ ，则其概率分布函数为$p(x)=Pr(X=x),x\in X$，则定义事件$X=x_0$ 的信息量为：
$$I(x_0)=-\text{log}(p(x_0))$$
当$p(x_0)=1$时，该事件必定发生，其信息量为0.

二、熵

熵用来衡量一个系统的混乱程度，代表系统中信息量的总和；熵值越大，系统不确定性就越大。

熵的计算公式:
$$H(x)=-\sum _{i=1}^{n}p(x_i)\text{log}(p(x_i))$$
可以看出，熵是信息量的期望值。

三、相对熵 Relative entropy

相对熵也称为KL散度，表示同一个随机变量的两个不同分布间的距离。

设 $p(x),q(x)$ 分别是 离散随机变量$X$的两个概率分布，则$p$对$q$的相对熵是：
$$D_{KL}(p\parallel q)=\sum _{i}p(x_i)log(\frac{p(x_i)}{q(x_i)})$$
注意：相对熵 $\ge 0$

四、交叉熵 Cross Entropy

设 $p(x),q(x)$ 分别是 离散随机变量$X$的两个概率分布，其中 $p(x)$ 是目标分布，$p$和$q$的交叉熵可以看做是，使用分布 $q(x)$ 表示目标分布 $p(x)$ 的困难程度：
$$H(p,q)=\sum _{i}p\left(x_i\right)\log \frac{1}{\log q\left(x_i\right)}=-\sum _{i}p\left(x_i\right)\log q\left(x_i\right)$$
显然有，
$$D_{KL}(p,q)=H(p,q)-H(p)$$
在机器学习中，目标的分布 $p(x)$ 通常是固定的，我们需要让训练得到的分布 $q(x)$ 尽可能接近 $p(x)$，这时候就可以最小化相对熵 $D_{KL}(p\parallel q)$，等价于最小化交叉熵 $H(p,q)$。