交叉熵代价函数

原创 2015年03月13日 13:18:56

本文是《Neural networks and deep learning》概览 中第三章的一部分,讲machine learning算法中用得很多的交叉熵代价函数。

1.从方差代价函数说起

代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为:

其中y是我们期望的输出,a为神经元的实际输出【 a=σ(z), where z=wx+b 】。

在训练神经网络过程中,我们通过梯度下降算法来更新w和b,因此需要计算代价函数对w和b的导数:

然后更新w、b:

w <—— w - η* ∂C/∂w = w - η * a *σ′(z)

b <—— b - η* ∂C/∂b = b - η * a * σ′(z)

因为sigmoid函数的性质,导致σ′(z)在z取大部分值时会很小(如下图标出来的两端,几近于平坦),这样会使得w和b更新非常慢(因为η * a * σ′(z)这一项接近于0)。

2.交叉熵代价函数(cross-entropy cost function)

为了克服这个缺点,引入了交叉熵代价函数(下面的公式对应一个神经元,多输入单输出):

其中y为期望的输出,a为神经元实际输出【a=σ(z), where z=∑Wj*Xj+b】

与方差代价函数一样,交叉熵代价函数同样有两个性质

  • 非负性。(所以我们的目标就是最小化代价函数)
  • 当真实输出a与期望输出y接近的时候,代价函数接近于0.(比如y=0,a~0;y=1,a~1时,代价函数都接近0)。

另外,它可以克服方差代价函数更新权重过慢的问题。我们同样看看它的导数:

可以看到,导数中没有σ′(z)这一项,权重的更新是受σ(z)−y这一项影响,即受误差的影响。所以当误差大的时候,权重更新就快,当误差小的时候,权重的更新就慢。这是一个很好的性质。

3.总结

  • 当我们用sigmoid函数作为神经元的激活函数时,最好使用交叉熵代价函数来替代方差代价函数,以避免训练过程太慢。

  • 不过,你也许会问,为什么是交叉熵函数?导数中不带σ′(z)项的函数有无数种,怎么就想到用交叉熵函数?这自然是有来头的,更深入的讨论就不写了,少年请自行了解。

  • 另外,交叉熵函数的形式是−[ylna+(1−y)ln(1−a)]而不是 −[alny+(1−a)ln(1−y)],为什么?因为当期望输出的y=0时,lny没有意义;当期望y=1时,ln(1-y)没有意义。而因为a是sigmoid函数的实际输出,永远不会等于0或1,只会无限接近于0或者1,因此不存在这个问题。

4.还要说说:log-likelihood cost

对数似然函数也常用来作为softmax回归的代价函数,在上面的讨论中,我们最后一层(也就是输出)是通过sigmoid函数,因此采用了交叉熵代价函数。而深度学习中更普遍的做法是将softmax作为最后一层,此时常用的是代价函数是log-likelihood cost。

In fact, it’s useful to think of a softmax output layer with log-likelihood cost as being quite similar to a sigmoid output layer with cross-entropy cost。

其实这两者是一致的,logistic回归用的就是sigmoid函数,softmax回归是logistic回归的多类别推广。log-likelihood代价函数在二类别时就可以化简为交叉熵代价函数的形式。具体可以参考UFLDL教程


转载请注明出处:http://blog.csdn.net/u012162613/article/details/44239919

版权声明:本文为博主原创文章,未经博主允许不得转载。

交叉熵代价函数(损失函数)及其求导推导

Logistic回归的交叉熵(cross entropy)代价函数(cost function)及其求导(derivation)推导。 文章详细介绍了交叉熵损失函数的推导,交叉熵损失函数对参数求导公式...
  • jasonzzj
  • jasonzzj
  • 2016年07月25日 00:04
  • 29062

交叉熵损失函数

最近看到CNNH(CNN Hashing),里面有提到交叉熵损失函数,找了一下,以备查忘 转载 http://blog.csdn.net/u012162613/article/details/442...
  • Losteng
  • Losteng
  • 2016年06月21日 22:36
  • 4697

交叉熵损失函数

一、香农熵 香农熵   1948 年,香农提出了“信息熵”(shāng) 的概念,才解决了对信息的量化度量问题。 一条信息的信息量大小和它的不确定性有直接的关系。比如说,我们...
  • yimingsilence
  • yimingsilence
  • 2016年10月05日 23:27
  • 13849

简单易懂的softmax交叉熵损失函数求导

来写一个softmax求导的推导过程,不仅可以给自己理清思路,还可以造福大众,岂不美哉~ softmax经常被添加在分类任务的神经网络中的输出层,神经网络的反向传播中关键的步骤就是求导,从这个过程也...
  • qian99
  • qian99
  • 2017年09月20日 22:23
  • 2677

交叉熵损失函数

香农熵    1948 年,香农提出了“信息熵”(shāng) 的概念,才解决了对信息的量化度量问题。 一条信息的信息量大小和它的不确定性有直接的关系。比如说,我们要搞清楚一件非常非...
  • xiewenbo
  • xiewenbo
  • 2016年10月12日 20:26
  • 7945

交叉熵代价函数(损失函数)及其求导推导

本文章已收录于: 分类: 机器学习(9) 作者同类文章X •检测率,召回率,mAP,ROC •softmax 带 tempret...
  • u011995719
  • u011995719
  • 2017年05月19日 10:09
  • 690

神经网络的交叉熵损失函数

常见损失函数 0-1损失函数 L(Y,f(X))={1,0Y != f(X)Y = f(X)L(Y,f(X))=\begin{cases}1,& \text{Y != f(X)}\\0& \text...
  • wangyangzhizhou
  • wangyangzhizhou
  • 2017年07月04日 18:07
  • 1616

两种交叉熵损失函数的异同

两种形式的交叉熵损失函数在学习机器学习的时候,我们会看到两个长的不一样的交叉熵损失函数。 假设我们现在有一个样本 {x,t}\{ x,t\}。 * −tjlog(yj)-t_j\text{log}...
  • u012436149
  • u012436149
  • 2017年04月07日 21:26
  • 1446

理解交叉熵作为损失函数在神经网络中的作用

交叉熵的作用通过神经网络解决多分类问题时,最常用的一种方式就是在最后一层设置n个输出节点,无论在浅层神经网络还是在CNN中都是如此,比如,在AlexNet中最后的输出层有1000个节点: 而即便...
  • chaipp0607
  • chaipp0607
  • 2017年06月18日 15:59
  • 3104

机器学习使用交叉熵作为损失函数的原因

 在机器学习中的分类算法中,我们总是最小化交叉熵,因为交叉熵越低,就证明由算法所产生的策略最接近最优策略,也间接证明我们算法所算出的非真实分布越接近真实分布。 https://www.zhih...
  • jiao_mrswang
  • jiao_mrswang
  • 2017年07月26日 16:54
  • 226
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:交叉熵代价函数
举报原因:
原因补充:

(最多只允许输入30个字)