损失函数——交叉熵由来

 交叉熵是深度学习中的一个重要概念，在理解交叉熵之前，需要理解以下几个概念。

信息量

信息量可以理解为一件事情的不确定性，就比如说，“一周有七天”，这个事情的是确定的事件，他的信息量就很低，相反，‘2021年某一天中国A股的走势是多少’，这个关于A股走势不确定性很多，这句话的信息量就很大。

也就是说：概率越大，信息量越小，概率越小，信息量越大。概率与信息量成反比。

信息熵

信息熵也被称为熵，用来表示所有信息量的期望。

期望是试验中每次可能结果的概率乘以其结果的总和。

所以信息量的熵可表示为：（这里的 X X X是一个离散型随机变量） 

相对熵（KL散度）

如果对于同一个随机变量 有两个单独的概率分布 P ( x ) 和 Q ( x ) ，则我们可以使用KL散度来衡量这两个概率分布之间的差异。

下面直接列出公式，再举例子加以说明。

KL散度越小，表示P（x）和Q（x）越接近

交叉熵

首先将KL散度公式拆开

前者 H ( p ( x ) ) 表示信息熵，后者即为交叉熵，KL散度 = 交叉熵 - 信息熵

交叉熵可以表示为：

这个交叉熵公式就可以用在深度学习中的交叉熵损失函数，用梯度下降法求解参数。

其实这样就是损失函数的一种形式。

接下来会讲述，交叉熵在损失函数中的应用。