深度学习中优化方法总结

转载 2017年01月03日 12:51:43

最近在看Google的Deep Learning一书,看到优化方法那一部分,正巧之前用tensorflow也是对那些优化方法一知半解的,所以看完后就整理了下放上来,主要是一阶的梯度法,包括SGD, Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam。 其中SGD,Momentum,Nesterov Momentum是手动指定学习速率的,而后面的AdaGrad, RMSProp, Adam,就能够自动调节学习速率. 
二阶的方法目前我水平太差,看不懂….就不放上来了。


BGD

即batch gradient descent. 在训练中,每一步迭代都使用训练集的所有内容. 也就是说,利用现有参数对训练集中的每一个输入生成一个估计输出yi^,然后跟实际输出yi比较,统计所有误差,求平均以后得到平均误差,以此来作为更新参数的依据.

具体实现: 
需要:学习速率 ϵ, 初始参数 θ 
每步迭代过程: 
1. 提取训练集中的所有内容{x1,,xn},以及相关的输出yi 
2. 计算梯度和误差并更新参数: 

g^+1nθiL(f(xi;θ),yi)θθϵg^

优点: 
由于每一步都利用了训练集中的所有数据,因此当损失函数达到最小值以后,能够保证此时计算出的梯度为0,换句话说,就是能够收敛.因此,使用BGD时不需要逐渐减小学习速率ϵk

缺点: 
由于每一步都要使用所有数据,因此随着数据集的增大,运行速度会越来越慢.


SGD

SGD全名 stochastic gradient descent, 即随机梯度下降。不过这里的SGD其实跟MBGD(minibatch gradient descent)是一个意思,即随机抽取一批样本,以此为根据来更新参数.

具体实现: 
需要:学习速率 ϵ, 初始参数 θ 
每步迭代过程: 
1. 从训练集中的随机抽取一批容量为m的样本{x1,,xm},以及相关的输出yi 
2. 计算梯度和误差并更新参数: 

g^+1mθiL(f(xi;θ),yi)θθϵg^

优点: 
训练速度快,对于很大的数据集,也能够以较快的速度收敛.

缺点: 
由于是抽取,因此不可避免的,得到的梯度肯定有误差.因此学习速率需要逐渐减小.否则模型无法收敛 
因为误差,所以每一次迭代的梯度受抽样的影响比较大,也就是说梯度含有比较大的噪声,不能很好的反映真实梯度.

学习速率该如何调整: 
那么这样一来,ϵ如何衰减就成了问题.如果要保证SGD收敛,应该满足如下两个要求: 

k=1ϵk=k=1ϵ2k<

而在实际操作中,一般是进行线性衰减: 
ϵk=(1α)ϵ0+αϵτα=kτ

其中ϵ0是初始学习率, ϵτ是最后一次迭代的学习率. τ自然代表迭代次数.一般来说,ϵτ 设为ϵ0的1%比较合适.而τ一般设为让训练集中的每个数据都输入模型上百次比较合适.那么初始学习率ϵ0怎么设置呢?书上说,你先用固定的学习速率迭代100次,找出效果最好的学习速率,然后ϵ0设为比它大一点就可以了.


Momentum

上面的SGD有个问题,就是每次迭代计算的梯度含有比较大的噪音. 而Momentum方法可以比较好的缓解这个问题,尤其是在面对小而连续的梯度但是含有很多噪声的时候,可以很好的加速学习.Momentum借用了物理中的动量概念,即前几次的梯度也会参与运算.为了表示动量,引入了一个新的变量v(velocity).v是之前的梯度的累加,但是每回合都有一定的衰减.

具体实现: 
需要:学习速率 ϵ, 初始参数 θ, 初始速率v, 动量衰减参数α 
每步迭代过程: 
1. 从训练集中的随机抽取一批容量为m的样本{x1,,xm},以及相关的输出yi 
2. 计算梯度和误差,并更新速度v和参数θ

g^+1mθiL(f(xi;θ),yi)vαvϵg^θθ+v

其中参数α表示每回合速率v的衰减程度.同时也可以推断得到,如果每次迭代得到的梯度都是g,那么最后得到的v的稳定值为 

ϵg1α

也就是说,Momentum最好情况下能够将学习速率加速11α倍.一般α的取值有0.5,0.9,0.99这几种.当然,也可以让α的值随着时间而变化,一开始小点,后来再加大.不过这样一来,又会引进新的参数.

特点: 
前后梯度方向一致时,能够加速学习 
前后梯度方向不一致时,能够抑制震荡


Nesterov Momentum

这是对之前的Momentum的一种改进,大概思路就是,先对参数进行估计,然后使用估计后的参数来计算误差

具体实现: 
需要:学习速率 ϵ, 初始参数 θ, 初始速率v, 动量衰减参数α 
每步迭代过程: 
1. 从训练集中的随机抽取一批容量为m的样本{x1,,xm},以及相关的输出yi 
2. 计算梯度和误差,并更新速度v和参数θ

g^+1mθiL(f(xi;θ+αv),yi)vαvϵg^θθ+v

注意在估算g^的时候,参数变成了θ+αv而不是之前的θ


AdaGrad

AdaGrad可以自动变更学习速率,只是需要设定一个全局的学习速率ϵ,但是这并非是实际学习速率,实际的速率是与以往参数的模之和的开方成反比的.也许说起来有点绕口,不过用公式来表示就直白的多: 

ϵn=ϵδ+n1i=1gigi

其中δ是一个很小的常亮,大概在107,防止出现除以0的情况.

具体实现: 
需要:全局学习速率 ϵ, 初始参数 θ, 数值稳定量δ 
中间变量: 梯度累计量r(初始化为0) 
每步迭代过程: 
1. 从训练集中的随机抽取一批容量为m的样本{x1,,xm},以及相关的输出yi 
2. 计算梯度和误差,更新r,再根据r和梯度计算参数更新量 

g^+1mθiL(f(xi;θ),yi)rr+g^g^θ=ϵδ+rg^θθ+θ

优点: 
能够实现学习率的自动更改。如果这次梯度大,那么学习速率衰减的就快一些;如果这次梯度小,那么学习速率衰减的就满一些。

缺点: 
任然要设置一个变量ϵ 
经验表明,在普通算法中也许效果不错,但在深度学习中,深度过深时会造成训练提前结束。


RMSProp

RMSProp通过引入一个衰减系数,让r每回合都衰减一定比例,类似于Momentum中的做法。

具体实现: 
需要:全局学习速率 ϵ, 初始参数 θ, 数值稳定量δ,衰减速率ρ 
中间变量: 梯度累计量r(初始化为0) 
每步迭代过程: 
1. 从训练集中的随机抽取一批容量为m的样本{x1,,xm},以及相关的输出yi 
2. 计算梯度和误差,更新r,再根据r和梯度计算参数更新量 

g^+1mθiL(f(xi;θ),yi)rρr+(1ρ)g^g^θ=ϵδ+rg^θθ+θ

优点: 
相比于AdaGrad,这种方法很好的解决了深度学习中过早结束的问题 
适合处理非平稳目标,对于RNN效果很好

缺点: 
又引入了新的超参,衰减系数ρ 
依然依赖于全局学习速率


RMSProp with Nesterov Momentum

当然,也有将RMSProp和Nesterov Momentum结合起来的

具体实现: 
需要:全局学习速率 ϵ, 初始参数 θ, 初始速率v,动量衰减系数α, 梯度累计量衰减速率ρ 
中间变量: 梯度累计量r(初始化为0) 
每步迭代过程: 
1. 从训练集中的随机抽取一批容量为m的样本{x1,,xm},以及相关的输出yi 
2. 计算梯度和误差,更新r,再根据r和梯度计算参数更新量 

θ~θ+αvg^+1mθ~iL(f(xi;θ~),yi)rρr+(1ρ)g^g^vαvϵrg^θθ+v


Adam

Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop,它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后,每一次迭代学习率都有个确定范围,使得参数比较平稳。

具体实现: 
需要:步进值 ϵ, 初始参数 θ, 数值稳定量δ,一阶动量衰减系数ρ1, 二阶动量衰减系数ρ2 
其中几个取值一般为:δ=108,ρ1=0.9,ρ2=0.999 
中间变量:一阶动量s,二阶动量r,都初始化为0 
每步迭代过程: 
1. 从训练集中的随机抽取一批容量为m的样本{x1,,xm},以及相关的输出yi 
2. 计算梯度和误差,更新r和s,再根据r和s以及梯度计算参数更新量 

g+1mθiL(f(xi;θ),yi)sρ1s+(1ρ1)grρ2r+(1ρ2)ggs^s1ρ1r^r1ρ2θ=ϵs^r^+δθθ+θ

深度学习各种优化函数详解

深度学习中有众多有效的优化函数,比如应用最广泛的SGD,Adam等等,而它们有什么区别,各有什么特征呢?下面就来详细解读一下一、先来看看有哪些优化函数BGD 批量梯度下降所谓的梯度下降方法是无约束条件...
  • qq_21460525
  • qq_21460525
  • 2017年04月12日 19:47
  • 2702

【深度学习】常见优化算法

本文介绍常见数值优化算法,其中的一阶方法在现代的神经网络框架(tensorflow, torch)中已经是标准配置,介绍较详细。...
  • shenxiaolu1984
  • shenxiaolu1984
  • 2016年10月09日 19:25
  • 7018

deeplearning中的优化算法

英文原版:http://sebastianruder.com/optimizing-gradient-descent/index.html#batchgradientdescent 翻译:http:...
  • chaojichaoachao
  • chaojichaoachao
  • 2016年11月29日 15:04
  • 656

优化:深度学习中的优化

8.1、学习和春优化有什么不同? 机器学习:关注性能度量P,P定义于测试集上且可能不可解。----------间接的优化P(降低代价函数); 纯优化:优化目标J本身; 8.1.1、经营风险最小化 真实...
  • Julialove102123
  • Julialove102123
  • 2017年11月14日 18:48
  • 93

深度学习笔记:优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)

最近在看Google的Deep Learning一书,看到优化方法那一部分,正巧之前用tensorflow也是对那些优化方法一知半解的,所以看完后就整理了下放上来,主要是一阶的梯度法,包括SGD, M...
  • u014595019
  • u014595019
  • 2016年11月01日 00:31
  • 26433

【深度学习】深度学习中监督优化入门(A Primer on Supervised Optimization for Deep Learning)

简介这个教程涵盖了深度学习(Deep Learning)的一些重要概念,是一个快速入门的大纲教程,包含了三个部分: 第一部分-数据集:介绍了MNIST数据集和使用方法; 第二部分-标记法:介绍了主要概...
  • ws_20100
  • ws_20100
  • 2015年11月02日 14:38
  • 1040

深度学习优化函数详解(4)-- momentum 动量法

如果把梯度下降法想象成一个小球从山坡到山谷的过程,那么前面几篇文章的小球是这样移动的。。。...
  • tsyccnh
  • tsyccnh
  • 2017年07月28日 17:36
  • 2338

TensorFlow:实战Google深度学习框架【优化扫描】【完整】

  • 2017年07月18日 14:17
  • 32.37MB
  • 下载

最优化方法:深度学习最优化方法

http://blog.csdn.net/pipisorry/article/details/52135832深度学习最优化算法动量Momentum如果把要优化的目标函数看成山谷的话,可以把要优化的参...
  • pipisorry
  • pipisorry
  • 2016年08月18日 14:33
  • 3658

深度学习(deep learning)优化调参细节(trick)

深度学习中的优化调参细节总结
  • h4565445654
  • h4565445654
  • 2017年04月22日 23:00
  • 3023
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习中优化方法总结
举报原因:
原因补充:

(最多只允许输入30个字)