交叉熵损失怎么来的

引言：信息是用来消除随机不确定的东西 —— 香农

1.信息熵

减少不确定性越大、信息量越大。信息量大小与信息发生的概率成反比。
信息量：
事件x的信息量：$I(x)=-ln(p(x))(p(x)为事件x的发生概率)(1)$
信息熵：所有信息量的期望
$$H(X)=-\sum _{i=1}^{n}p(x_i)ln(p(x_i))(X=x_1,x_2,...,x_n)(2)$$

2.相对熵（KL散度）

衡量两个概率分布的差异，越小表示越接近。
$$D_{KL}(X)=\sum _{i=1}^{n}p(x_i)ln(\frac{p(x_i)}{q(x_i)})(X=x_1,x_2,...,x_n)(3)$$
$p(x_i)$和$q(x_i)$为分别第i个事件的真实概率和预测概率
则由(3)式：
$$\begin{array}{rl}KL散度& =D_{KL}(X)\\ & =\sum _{i=1}^{n}p(x_i)ln(\frac{p(x_i)}{q(x_i)})\\ & =\sum _{i=1}^{n}p(x_i)ln(p(x_i)-\sum _{i=1}^{n}p(x_i)ln(q(x_i)\\ & =-H(x)+[-\sum _{i=1}^{n}p(x_i)ln(q(x_i)]\\ & =[-\sum _{i=1}^{n}p(x_i)ln(q(x_i))]-H(x)\\ & =交叉熵-信息熵\end{array}$$
由于信息熵真值是固定的，因此只用计算交叉熵即可，而且相比KL散度计算更简单。

交叉熵损失：

$$C{E}_{loss}=-\frac{1}{m}\sum _{i=1}^m\sum _{j=1}^{n}p(x_{ij})ln(q(x_{ij}))(m为样本个数，n为类别数)$$

参考：
交叉熵损失函数原理详解 [CSDN]