损失函数梯度对比-均方差和交叉熵

前言

我们都知道在机器学习中，希望算法或者网络收敛更快，有些是对数据预处理，尤其是Batch Normalization，有些是采用不同的激活函数，尤其是Relu激活函数取得了巨大的成功，还有一种加速收敛方法是更换损失函数。本博客就是针对均方差损失(MSE)和交叉熵损失的收敛速度做一个推导，当然少不了参考他人博客啦，但是参考归参考，重在自己推导一遍。

国际惯例，来一波地址

人工神经网络——【BP】反向传播算法证明

Kullback–Leibler divergence(相对熵，KL距离，KL散度)

交叉熵代价函数(作用及公式推导)

交叉熵代价函数

两种损失函数对比

前提条件

在三层BP神经网络(输入->隐层->输出)中，设$y$为模型输出，$o$为真实标注，激活函数为$sigmoid$(用$\sigma$表示)，输出层偏置为b，隐层单元值为h，隐层到输出层权重为$w$，这样就能得到$y=\sigma (wh+b)$

为了简便起见，只对比隐层中的一个单元与输出层之间的连接权重对于一个样本输入的更新梯度。提前关注$sigmoid$函数
$$\sigma (x)=\frac{1}{1+e^{-x}}$$
以及$sigmoid$函数的导数
$${\sigma }^{\prime }(x)=\frac{\partial \sigma (x)}{x}=\sigma (x)(1-\sigma (x))$$
还有$y$对权重的导数
$$y^{\prime }=\frac{\partial y}{\partial w}=y(1-y)h$$

均方差损失

函数表达为:
$$L_{\text{MSE}}=\frac{1}{2}||(o-y)|{|}_2^2=\frac{1}{2}(o-y{)}^2$$
权重梯度更新，更详细的推导看我前面的博客
$$\frac{\partial L_{\text{MSE}}}{\partial w}=(o-y){\sigma }^{\prime }(wh+b)h$$

交叉熵损失

函数表达为:
$$L_{cross-entropy}(o,y)=-([o\log y]+(1-o)\log (1-y))$$
【题外话】为什么不能将交叉熵内的$y,o$互换位置呢？因为$o$是真实标注，可能取到0值，但是$y$是$sigmoid$激活的值，只能无限逼近0，而不会等于0。这样$\log$才有意义嘛。

权重更新梯度，利用到前提条件中$y$对权重的导数
$$\begin{array}{rl}\frac{\partial L_{\text{cross-entropy}}}{\partial w}& =-(\frac{o}{y}\cdot y^{\prime }-\frac{1-o}{1-y}\cdot y^{\prime })\\ & =-\left[\frac{o-y}{y(1-y)}\cdot y^{\prime }\right]\\ & =(y-o)h\end{array}$$

对比

因为是查看的是梯度更新的步长，所以不用关心正负，对比均方差和交叉熵两种损失函数更新梯度的绝对值即可
$$\begin{gathered} {\Delta }_{\text{MSE}}=|o-y|\cdot |{\sigma }^{\prime }(wh+b)|\cdot |h| \\ {\Delta }_{\text{cross-entropy}}=|y-0|\cdot |h| \end{gathered}$$
可以发现
$$\frac{{\Delta }_{\text{MSE}}}{{\Delta }_{\text{cross-entropy}}}=|{\sigma }^{\prime }(wh+b)|\le 0.25$$
【注】这个最大值0.25，就是斜率$y^{\prime }$的最大值，直接对$y^{\prime }=y(1-y)=y-y^2$求导等于0，就可以发现$y=\frac{1}{2}$的时候斜率最大，为0.25。
谢谢评论区指正，以前博客写的是最小值。

而且，从下面的$sigmoid$函数图像可以发现，对于均方差MSE损失，输出越大，梯度越小。比如当真实标注为$0$的时候，$y=\sigma (wh+b)$越大，sigmoid的值越大，但是sigmoid的梯度越小，这也就导致了${\Delta }_{\text{cross-entropy}}$的梯度大(因为没sigmoid导数这一项)，但是${\Delta }_{\text{MSE}}$的梯度小(因为乘以了sigmoid较远的非常小的梯度)。

本文已经同步到微信公众号中，公众号与本博客将持续同步更新运动捕捉、机器学习、深度学习、计算机视觉算法，敬请关注