分类问题中，常选择交叉熵损失函数而不是MSE损失函数

最新推荐文章于 2022-04-02 09:27:14 发布

tianyunzqs

最新推荐文章于 2022-04-02 09:27:14 发布

阅读量950

点赞数 2

分类专栏： DeepLearning 文章标签：损失函数

本文链接：https://blog.csdn.net/tianyunzqs/article/details/92628064

版权

DeepLearning 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

均方误差(Mean Square Error, MSE)损失函数：

$L=\frac{1}{2N}\sum_{i=i}^{N}{(y-\widehat{y})}^2 \ \ \ \ \ \ \ \ \ \ \ (1)$

对 $w$ 求偏导（对 $b$ 求导类似）：

$\begin{align*} {\frac{\partial L}{\partial w}} &= -\frac{1}{N}\sum_{i=1}^{N}(y-\widehat{y})\cdot \frac{\partial \widehat{y}}{\partial w} \ \ \ \ \ \ \ \ \ (2) \end{align*}$

交叉熵损失函数：

$L=-\frac{1}{N}\sum_{i=1}^{N}[ylog\widehat{y} + (1-y)log(1-\widehat{y})]\ \ \ \ \ (3)$

对 $w$ 求偏导（对 $b$ 求导类似）：

$\begin{align*} {\frac{\partial L}{\partial w}} &= -\frac{1}{N}\sum_{i=1}^{N}[y\cdot \frac{1}{\widehat{y}}\cdot \frac{\partial \widehat{y}}{\partial x}+(1-y)\cdot \frac{-1}{1-\widehat{y}}\cdot \frac{\partial \widehat{y}}{\partial x}]\\ &= -\frac{1}{N}\sum_{i=1}^{N}[\frac{y-\widehat{y}}{\widehat{y}\cdot (1-\widehat{y})}\cdot \frac{\partial \widehat{y}}{\partial w}]\\ &=-\frac{1}{N}\sum_{i=1}^{N}[(y-\widehat{y})\cdot x_{_{i}}] \ \ \ \ \ \ \ \ (4) \end{align*}$

ps：以上公式中，激活函数取sigmod激活函数

参数更新过程：

$w:=w-\lambda \cdot \frac{\partial L}{\partial w} \ \ \ \ \ \ \ \ (5)$

对比公式(2)和(4)可知：

MSE损失函数在参数更新的过程会依赖激活函数的偏导数，当激活函数取sigmod函数的时候，其偏导数在自变量很大或很小的时候为0，使得训练过程中网络参数无更新。

而交叉熵损失函数在参数更新的过程中不依赖激活函数的偏导数，不存在MSE的问题。

tianyunzqs

关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分类问题中，常选择交叉熵损失函数而不是MSE损失函数

均方误差(Mean Square Error, MSE)损失函数：对求偏导（对求导类似）：交叉熵损失函数：对求偏导（对求导类似）：ps：以上公式中，激活函数取sigmod激活函数参数更新过程：对比公式(2)和(4)可知：MSE损失函数在参数更新的过程会依赖激活函数的偏导数，当激...
复制链接

扫一扫