深度学习笔记(四):Cross-entropy损失函数

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/u012950413/article/details/80358112

改进的Cost函数Cross-entropy使神经网络学习更快


我们理想的情况是神经网络Cost下降的很快

神经网络是如何学习的

举个例子:一个简单的神经网络模型:只有一个神经元,一个输入一个输出,类似如:
这里写图片描述
我们使用梯度下降算法来训练这个模型

神经网络学习过程(Cost的变化情况)

假设:输入为1,输出值为0

假设权重ω我们设置为0.6,初始偏向b设置为0.9,初始预测的输出a=0.82,学习率为0.15,迭代学习300次:
这里写图片描述
具体演示动画参考

神经网络快速的学习权重和偏向用来降低Cost,虽然最后训练结果和0有些偏差,但是0.09也是很好的结果了

改变初始权重和偏向,预计输出,我们在观察Cost函数的变化情况

如果我们改变神经元的初始权重和偏向,假设权重ω我们设置为2.0,初始偏向b设置为2.0,初始预测的输出a= 0.98,学习率为0.15,迭代学习300次:

这里写图片描述
具体演示动画参考

可以看出Cost函数一开始下降很慢,迭代到200次左右才开始出现明显的下降,而且最后输出值是0.2要比上一个例子0.09差很多。

为什么神经网络会出现一开始学习很慢后来学习变快的情况呢

神经网络学习慢说明了偏导数C/ωC/b比较小

回顾之前的Cost函数(二次Cost函数)

C=(ya)22

上式中y是真实输出,a是相应的预测输出,a=σ(z),z为中间变量(z=ωx+b),分别对ωb求偏导

(1)Cw=(ay)σ(z)x=aσ(z)(把x=1,y=0带入)(2)Cb=(ay)σ(z)=aσ(z),

回顾下一开始用的激活函数sigmoid函数

这里写图片描述
学习速度取决于aσ(z),而a在{0,1}之间,所以a对学习速度影响较小。从图像中可以看出在神经元输出接近0或1的时候,曲线变的很平缓,这个时候σ(z)小,所以学习速度很慢。

二次Cost函数的缺点

当神经元输出值接近0或1的时候,学习速度很慢,学习的速度跟参数的选择关系很大。

介绍cross-entropy 损失函数(cost function)

使用一个更加复杂的神经网络:
他有一个神经元,三个输入,一个输出

如图α=σ(z),其中z=jwjxj+b

定义新的损失函数cross-entropy如下:

(3)C=1nx[ylna+(1y)ln(1a)]

α=σ(z)带入上式:

(4)C=1nx[ylnσ(z)+(1y)ln(1σ(z))]

分别对ωb求偏导:

ω求偏导

(5)Cwj=1nx(yσ(z)(1y)1σ(z))σwj(6)=1nx(yσ(z)(1y)1σ(z))σ(z)xj(7)=1nxσ(z)xjσ(z)(1σ(z))(σ(z)y)(合并同类项)

根据sigmoid函数σ(z)=1/(1+ez),对它求导得出σ(z)=σ(z)(1σ(z))带入上式得出:
(1)Cwj=1nxxj(σ(z)y)=1nxxj(ay)

对b求偏导

(2)Cb=1nx(σ(z)y)=1nx(ay)

由(1)(2)两个式可以知道:
学习的快慢(即偏导数的大小)取决于a-y,即输出层的error

cross-entropy函数的好处是:

错误大时,更新多,学得快. 错误小时,学习慢

演示cross-entropy损失函数的学习情况

起始权重为0.6,偏向为0.9,其他都不变
这里写图片描述
具体演示动画参考
可以看出,cross-entropy cost函数在一开始就学习的很快(曲线下降的很快),而且最后预测输出为0.04,非常接近0,比之前的二次Cost的效果(0.09)好很多。

起始权重和偏向都设置为2.0

这里写图片描述
具体演示动画参考

用cross-entropy进行手写数字识别

依然沿用之前的程序

#coding=utf-8
'''
Created on 2018年5月14日

@author: devkite
'''
import mnist_loader
import network2
# cross-entropy损失函数test效果
# cross-entropy不会出现学习缓慢的问题,而且相对二次Cost,学习效果更好
#加载数据集
trainDataset,validationDataset,testDataset = mnist_loader.load_data_wrapper()
# 损失函数使用Cross-entropy
net=network2.Network([784,30,10], cost=network2.CrossEntropyCost)
#初始化权重和偏向,和之前初始化方式是一样的,因为在后面章节将会介绍新的初始化方法,所以在这里改了个名字
net.large_weight_initializer()
net.SGD(trainDataset, 30, 10, 0.5,evaluation_data=testDataset, monitor_evaluation_accuracy=True)

程序效果:
这里写图片描述
学习效果比之前明显加快

参考代码及我的笔记

总结:

cross-entropy cost几乎总是比二次cost函数好
果神经元的方程是线性的, 用二次cost函数 (不会有学习慢的问题)

展开阅读全文

没有更多推荐了,返回首页