【深度学习基础知识 - 02】交叉熵

交叉熵通常用于各种分类任务中，这篇文章会对交叉熵做一个简单介绍。

为什么使用交叉熵而不是MSE等损失函数作为分类loss

• 最主要原因是交叉熵的梯度较为友好。如果用MSE计算loss，则输出的loss曲线是波动的，有很多局部的极值点，任务会演变成非凸优化问题，简单来说就是模型参数很容易进入到一个局部极值点出不来。使用交叉熵作为损失函数可以保证任务依然是凸优化问题，在求导梯度时候有很好的收敛特性。

什么是熵

• 想要理解交叉熵，就需要知道什么是熵。熵可以直观的理解为信息量。“明天太阳会从东边升起”，这句话信息量就比较小，是一个正确的废话。“明天中国会成为世界第一大经济体”，这句话信息量就多一些，不管是真的假的，信息量大的东西更会引起我们的关注。
• 数学公式。其中P(x)表示事件x可能发生的概率，E(x)就是熵，熵的另一个名字叫做自信息量。想要进一步理解熵，就需要知道KL散度。
  

KL散度

• KL散度，又称为KL距离，还有一个名字叫做相对熵，是一种量化两种概率分布之间差异的方式，可以理解为两个概率分布之间信息量的差别。
• 数学公式（注意下式P的下标）。
  
• 相对熵是不对称的࿰