首先看一下二次代价函数：
以二分类问题，常见的sigmoid激活函数为例，假设
表示输入值，
表示真实标签（0或1），
表示预测输出，则二次代价函数可表示为：
其中
那么代价函数对权重
和偏置
的偏导数分别为：
从上式可以分析：当代价较大即输入输出差别较大时，
的值趋于0或1，此时
的值趋于0，既权重和偏置的梯度趋于0。这与我们所期望的当代价较大即输入输出差别较大时，以较大的梯度下降更新权重和偏置相违背。
再看交叉熵损失函数：
同样以二分类问题为例，损失函数为：
简单分析一下：当为1时，上式变为：
，当预测结果越接近真实标签时损失越小。当为0时，上式变为：
，当预测结果越接近真实标签时同样损失越小。这么看来交叉熵函数具有作为损失函数的性质。
接下来先推导一下交叉熵损失函数是怎么来的，再从导数角度分析其作为损失函数的可行性：
首先sigmoid函数的输出可以表征预测标签的概率，假设预测标签为1的概率表示为
，那么预测标签为0的概率则为
。根据最大似然估计，有：
我们希望
最大，对其取对数，再取负数，有：
即变成最小化
的问题，这便是交叉熵损失函数推导过程。
再看交叉熵损失函数对权重和偏置的偏导数，分别为：
![\frac{\partial C}{\partial w}=-\left [ \frac{y}{\sigma (z)}\cdot \sigma '(z)-\frac{1-y}{1-a}\cdot \sigma '(z)]\cdot \frac{\partial z}{\partial w}\right ]=\left [ \frac{\sigma (z)-y}{\sigma (z)\left ( 1-\sigma (z) \right )}\cdot \sigma '(z) \right ]\cdot x](https://i-blog.csdnimg.cn/blog_migrate/280378d64664bd4d6ea11afa5dadc20b.gif)
将
带入上式，得：
![\frac{\partial C}{\partial w}=x\left [ \sigma (z)-y \right ]](https://i-blog.csdnimg.cn/blog_migrate/4dfb449ad0de819c31919e6b471b559e.gif)
同理得：
从上式可以分析：当代价较大即输入输出差别较大时，权重和偏置的梯度越大。这与我们所期望的当代价较大时以较大的梯度下降更新权重和偏置相符。因此，相比二次代价函数交叉熵损失函数更好。
367
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
