【第22期】观点:IT 行业加班,到底有没有价值?

BP算法改进

原创 2016年08月30日 22:27:52

BP算法的问题

  1. 权值初始化
       用于权值 初始化 的一个普遍方法是设置为:区间[0.5N,0.5N]内,均匀分布的随机数,其中N表示权值为馈入层中神经元的总数量。
       对于单隐层的情况,Nguyen和Widrow认为下列算法能显著提高网络的训练速度。

    算法1

    1. 计算缩放因子:γ=0.7n1n0,其中,n0为输入层分量个数,n1为隐层神经元个数。
    2. 初始化任一层的权值ωij[ 0.5,0.5]之间的随机值。
    3. 按照下列公式重新初始化权值:
      ωij=γωijn1i=1ω2ij

      4.对于隐层第i个神经元,设置偏置为一个[ωij,ωij]之间的随机值。
  2. 网络设置和网络泛化能力
       多层感知器神经网络的设置由隐层的数量、每个隐层的神经元数量以及激活函数的类型决定。已经证实:网络的性能并不十分依靠激活函数的类型,隐层的数量、每个隐层的神经元数量的选择是关键。

  3. 独立检验
       将数据划分为训练集和测试集。训练集用于更新网络权值,测试集用于评估训练性能。
  4. 收敛速度
       学习率的取值在某种程度上决定了BP算法的收敛性(速度和稳定性)。为了确保网络收敛和避免训练过程的振荡,学习率必须设置为相对较小的值。
       除了BP学习的修改,输入数据的预处理和简化也可使性能改善和加速训练。即:网络规模的减小将削减它的复杂性,并能大大提高收敛速度。数据预处理的方法有:主成分分析法、部分最小二乘回归、傅里叶变换和小波变换等。

BP算法的改进

改进的BP算法可以分为两类:
1. 启发式算法:如动量算法和自适应算法。
2. 数值优化算法:如共轭梯度法和牛顿法。

启发式算法

动量方法

   在BP算法中,步长η的选择很重要,η大则收敛快,但是过大则可能引起不稳定。(η最大不能超过2λmax,λmax为输入向量x的自相关阵的最大特征值)
   η小可避免振荡,但收敛速度变慢,解决这一矛盾的最简单方法就是加入“动量项”,即令:

Δωji(n)=αΔωji(n1)+ηδj(n)yj(n),0<α<1

   此式被称为广义delta规则。式中第二项是常规BP算法的修正量;第一项称为动量项,其通过在权值更新中引入稳定性来提高标准反向传播的速度;α称为遗忘因子,通常在0,1之间取值。


   其作用简单分析如下:
   当顺序加入训练样本时,公式可写成以t为变量的时间序列,因此上式可看做是Δωji的一阶差分方程,对Δωji(n)求解,可得:

Δωji(n)=ηt=0nαn1δj(t)yj(t)=ηt=0nαn1E(t)ωji(t)

   当本次E(t)ωji(t)与前一次同符号时,其加权求和值增大,使 Δωji(n) 较大,从而在稳定调节时增加了ω的调节速度;
   当本次E(t)ωji(t)与前一次符号相反时,说明有一定振荡,此时指数加权和结果使Δωji(n)减小,起到了稳定作用。

批量更新

   标准BP算法假定权值由每一输入输出训练对更新,而批量更新方法在执行更新之前累计几个训练模式的权值修正。
   批量更新的优点如下:

  1. 运用几个训练对,对误差曲面给出比用于标准BP的瞬时值更好的估计。
  2. 通过修正平均的处理,批量更新步骤提供某种固有的训练数据低通滤波。
  3. 批量算法适用于更复杂的优化过程,如共轭梯度法或牛顿法。

   对于在整个训练集执行平均的批量更新和标准BP之间的一个良好折中是在更新权值之前累积几个训练对的变化。

搜索然后收敛方法

   Darken等人提出的用于加速BP学习的搜索然后收敛方法是相对简单的启发式策略。
   两个通用的学习率下降策略:

η(k)=η011+k/k0

η(k)=η01+(c/η0)(k/k0)1+(c/η0)(k/k0)+k0(k/k0)2

   式中,η0>0代表初始学习率参数,ck0 是恰当选择的常量。典型的,1<c/η0<100100<k0<500
   当kk0时,学习率参数近似为常量η0,这对应于 搜索阶段。
   当kk0时,学习率按比例减小。
   已经证明,恰当选择参数ck0,搜索然后收敛策略能显著提高BP算法的速度。

自适应BP算法

   自适应BP算法的含义在于自适应地改变BP学习中的学习率,以控制BP学习中的梯度下降速度,以改善原始BP算法的收敛特性。
   学习率η的自适应律可设计为:

Δη(k)=+a,bη(k1),0,C1(k)C2(k)else

   式中,a>0,b>0,条件C1(k)C2(k)分别定义为:
   C1(k)表示BP网络前i次迭代的平方误差函数梯度值ΔE(ki)<0;
   C2(k)表示BP网络前i次迭代的平方误差函数梯度值ΔE(ki)>0;

数值优化算法

共轭梯度BP法

   共轭梯度法不能直接地应用于BP网络。

算法2 :基于Fletcher-Revees 共轭梯度法的BP学习算法


1.初始化。设置k=0i=0,设置学习率上限C>0和优化目标ε>0,随机生成初始权值序列ω(0)
2.通过局部梯度δ(l)j(0),计算梯度g(0)=E(ω(0))
3.选择搜索方向d(0)d(0)=g(0)
4.计算学习率ηi,采用一维搜索选择ηi使下式成立:

E(ω(i)+ηid(i))=min0ηCE(ω(i)+ηd(i))

5. 调节BP网络参数
ωi+1=ω(i)+ηid(i)

6.置k=k+1,i=i+1
7.若E(ω(i))<ε,算法终止。
8.通过局部梯度δ(l)j(i),计算梯度g(i)=E(ω(i))
9.计算方向因子βi=g(i)2g(i1)2
10.计算方向d(i):若i<N(N为BP算法的迭代次数上限),则d(i)=g(i)+βid(i1),并转步骤4,否则,i>0,ω(0)=ω(i)g(0)=g(i),并转步骤3

Levenberg-Marquardt 算法

   Levenberg-Marquardt 算法是为了能将牛顿法应用于Hesse矩阵非正定的情形下的一种改进方法,其迭代过程为:

x(k+1)=x(k)+ηkd(k)d(k)={H^(k)}1g(k)H^(k)=H(k)+ηkQ^(k)

其中,Q^(k)是给定的正定矩阵。

算法3 基于Levenberg-Marquardt 的BP学习算法
1.初始化:设置k=0,β0>0,α>1,设置正定矩阵Q^(k),设置优化目标ε>0,随机生成初始权值序列ω(0)
2.计算梯度g(k)=E(ω(k)):通过局部梯度δ(l)j(i),根据BP算法计算公式,求梯度E(ω(k))
3.计算近似Hesse矩阵H(ω(k))
4.计算估计Hesse矩阵H^(ω(k)):H^(ω(k))=H(ω(k))+βkQ^
5.H^1(ω(k))存在性测试:若H^1(ω(k))不存在,则置βk=αβk并转向步骤4。
6.选择搜索方向d(k)=H^1(ω(k))1g(ω(k))
7.计算学习率ηk,采用一维搜索法。
8.学习率有效性测试,若ηk=0,则置βk=αβk并转向步骤4。
9.调节BP网络参数

ω(k+1)=ω(k)+ηkd(k)

10.停机测试:若E(ω(k))<ε,则停机;否则,置k=k+1,并转置步骤2.


参考文献

[1] 史忠植. 神经网络[M]. 北京:高等教育出版社,2009:54-63.

版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

非常好的理解遗传算法的例子

遗传算法的手工模拟计算示例为更好地理解遗传算法的运算过程,下面用手工计算来简单地模拟遗传算法的各    个主要执行步骤。       例:求下述二元函数的最大值:    (1) 个体编码       ...
  • b2b160
  • b2b160
  • 2009-10-16 15:07
  • 313560

numpy等差数列生成函数arange学习小结

简单接触了numpy的等差数列生成函数arange,在使用上又一点像range函数。在使用上,需要有三个参数,除此之外似乎还有隐含参数。关于隐含参数就不去计较了,暂时先不去学习这么深入的功能。而常用的...

程序员升职加薪指南!还缺一个“证”!

CSDN出品,立即查看!

Python 中的range(),arange()函数

range()函数

[完]Python函数 range()和arange()

介绍了range()、arange()的功能和区别。

SVD在推荐系统中的应用详解以及算法推导

前面文章SVD原理及推导已经把SVD的过程讲的很清楚了,本文介绍如何将SVD应用于推荐系统中的评分预测问题。其实也就是复现Koren在NetFlix大赛中的使用到的SVD算法以及其扩展出的RSVD、S...

BP神经网络算法学习

BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP...

BP神经网络的数学原理及其算法实现

BP神经网络,BP即Back Propagation的缩写,也就是反向传播的意思,顾名思义,将什么反向传播?文中将会解答。不仅如此,关于隐层的含义文中也会给出个人的理解。最后会用Java实现的BP分类...

BP神经网络

今天来讲BP神经网络,神经网络在机器学习中应用比较广泛,比如函数逼近,模式识别,分类,数据压缩,数据 挖掘等领域。接下来介绍BP神经网络的原理及实现。   Contents     1. BP神经网络...

BP神经网络

BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)。它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平...

机器学习常见算法个人总结

朴素贝叶斯 参考[1] 事件A和B同时发生的概率为在A发生的情况下发生B或者在B发生的情况下发生A [Math Processing Error]P(A∩B)=P(A)∗P(B|...
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)