深度学习 交叉熵损失函数

前言

深度学习中的损失函数的选择，需要注意一点是直接衡量问题成功的指标不一定总可行。损失函数需要在只有小批量数据时即可计算，而且还必须可微。下表列出常见问题类型的最后一层以及损失函数的选择，仅供参考。

问题类型	最后一层激活	损失函数
二分类问题	sigmoid	binary_crossentropy
多分类、单标签	softmax	categorical_crossentropy
多分类、多标签问题	sigmoid	binary_crossentropy
回归到任意值	无	mse
回归到0~1范围内的值	sigmoid	mse或binary_crossentropy

• 二分类问题
  二分类：表示分类任务中有两个类别，比如我们想识别一幅图片是不是猫。也就是说，训练一个分类器，输入一幅图片，用特征向量x表示，输出是不是猫，用y=0或1表示。二类分类是假设每个样本都被设置了一个且仅有一个标签 0 或者 1。
• 多分类问题
  多类分类(Multiclass classification): 表示分类任务中有多个类别, 比如对一堆水果图片分类, 它们可能是橘子、苹果、梨等. 多类分类是假设每个样本都被设置了一个且仅有一个标签: 一个水果可以是苹果或者梨, 但是同时不可能是两者。
• 多标签分类
  多标签分类(Multilabel classification): 给每个样本一系列的目标标签. 可以想象成一个数据点的各属性不是相互排斥的(一个水果既是苹果又是梨就是相互排斥的), 比如一个文档相关的话题. 一个文本可能被同时认为是宗教、政治、金融或者教育相关话题。

接下来我们从信息熵出发介绍交叉熵损失函数。

交叉熵损失函数

信息量

香农提出“信息是用来消除随机不确定的东西”。设一个事件发生的概率为$P(x)$，其信息量表示为：$$I(x)=-\log (P(x))$$

信息熵

信息熵描述所有信息量的期望，公式是$$H(X)=-\sum _{i=1}^{n}P(x_i)\log (P(x_i)),X=x_1,x_2,x_3,...x_n$$。以下用一个例子说明，假设明天周末，有三个活动：打球，逛街以及爬山，他们的概率以及对应的信息量如下表所示：

event	P	signal
打球	0.2	$-\log (0.2)$
逛街	0.3	$-\log (0.3)$
爬山	0.5	$-\log (0.5)$

那么信息熵$H(X)$则为：$$H(X)=-(0.2\ast \log (0.2)+0.3\ast \log (0.3)+0.5\ast \log (0.5))$$

交叉熵

KL散度描述两个分布之间的差异：$$\begin{gathered} D_{KL}(p||q)=\sum _{i=1}^{n}p(x_i)\log (\frac{p(x_i)}{q(x_i)}) \\ =\sum _{i=1}^{n}p(x_i)\log (p(x_i)))-\sum _{i=1}^{n}p(x_i)\log (q(x_i))) \\ =-H(p(x))+[-\sum _{i=1}^{n}p(x_i)\log (q(x_i)))] \end{gathered}$$，其中$H(p(x))$表示信息熵，后者则为交叉熵：$$H(p,q)=-\sum _{i=1}^{n}p(x_i)\log (q(x_i)))$$
交叉熵损失函数经常用于分类问题中，特别是在神经网络做分类问题时，也经常使用交叉熵作为损失函数，此外，由于交叉熵涉及到计算每个类别的概率，所以交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。

求导过程

交叉熵的公式是$$H(p,q)=-\sum _{i=1}^{n}p(x_i)\log (q(x_i)))$$，为了好看，我们令$p(x_i)=y_i$，其中$y_i$表示真实label标签；$q(x_i)=a_i$，$a_i$表示神经元的输出。则交叉熵损失函数可以表示成：$$Cost=-\sum _{i=1}^n{y}_i\log (a_i)$$。Softmax公式为：$$S_i=\frac{e^{z_i}}{{\sum }_k{e}^{z_k}}$$。一个神经元的输出如下图所示：

假设神经元的输出为：$$z_i=\sum _j{w}_{xj}{x}_{xj}+b$$，其中$w_{ij}$表示第$i$个神经元第$j$个权重。$z_i$通过softmax输出则是：$$a_i=\frac{e^{z_i}}{{\sum }_k{e}^{z_k}}$$一切准备就绪，开始我们的反向推导。

1. 求导公式$$\frac{\partial C}{\partial z_i}$$根据复合函数求导法则：$$\frac{\partial C}{\partial z_i}=\frac{\partial C}{\partial a_j}\frac{\partial a_j}{\partial z_i}$$这里可能有个疑问：对$z_i$求导怎么会出现$a_j$？这是因为softmax公式里面分母包含了所有神经元参数，这里需要分情况进行讨论。

2. 对$\frac{\partial C}{\partial a_j}$求导：$$\frac{\partial C}{\partial a_j}=\frac{\partial (-{\sum }_j{y}_j\ln a_j)}{\partial a_j}=-\sum _j{y}_j\frac{1}{a_j}$$

3. 对$\frac{\partial a_j}{\partial z_i}$求导，需要分情况。
   

4. 最后合在一起：
   ${\sum }_j{y}_j=1$，于是有：$$\frac{\partial C}{\partial z_i}=a_i-y_i$$

应用

1. 为什么用交叉熵，而不用均方差作为损失函数？
   

扩展

Binary_Crossentropy

二值交叉熵损失函数很好理解，就是取值只有0或者1的分类，他的公式是：$$H_p(q)=-\frac{1}{N}\sum _{i=1}^N{y}_i\log (p(y_i))+(1-y_i)\log (1-p(y_i))$$

均方差损失函数（MSE）

该损失函数通过计算真实值与预测值的欧式距离直观反馈了预测值与真实值得误差。预测值与真实值越接近，则两者的均方差越小。公式如下：$$loss=\frac{1}{2}(z-y{)}^2(单样本)$$，$$J=\frac{1}{2m}\sum _{i=1}^m(z_i-y_i{)}^2(多样本)$$具体案例可以参考：均方差损失函数

19个损失函数汇总：https://zhuanlan.zhihu.com/p/258395701