【第22期】观点:IT 行业加班,到底有没有价值?

BP神经网络

原创 2016年06月01日 13:20:30

BP神经网络

基本BP神经网络算法包括:
- 信号的前向传播
- 误差的反向传播

也即计算实际输出时按照输入到输出的方向进行,权值阈值调整则相反。
BP是一种多层前馈神经网络,由输入层、隐含层和输出层组成。层与层之间有两种信号在流动:一种是从输入流向输出的工作信号,是输入和权值的函数;另一种是输入流向输出的信号,即误差

信号的前向传播:

==隐含层==i个节点的输入和输出分别为:
输入:

neti=j=1Mωijxj+θi

输出:
oi=ϕ(neti)
=ϕ(j=1Mωijxj+θi)

M——输入层节点个数
ωij——隐含层第i个节点到第j个节点之间的权值
θi表示隐含层第i个节点的阈值
ϕ表示隐含层的激励函数
==输出层==第k个节点的输入和输出分别为:
输入:
netk=i=1qωkiyi+ak
=i=1qωkiϕ(neti)+ak

输出:
ok=ψ(netk)

误差的反向传播

由输出层开始逐层计算各层神经元的输出误差,根据==梯度下降法==调节各层的权值阈值
每一个样本p的二次型误差准则函数Ep

Ep=12k=1L(Tkok)2

系统对P个训练样本的总误差准则函数为:
Ep=12p=1Pk=1L(Tkok)

根据梯度下降法依次修正输出层权值的修正量Δωki输出层阈值的修正量Δak隐含层权值的修正量Δωij隐含层阈值的修正量Δθi
Δωki=ηEωki

Δak=ηEak

Δωij=ηEωij

Δθi=ηEθi

以上几个公式有专门公式推导。

BP算法流程图:

Created with Raphaël 2.1.0开始初始化权值阈值输入训练样本计算隐含层各神经元的输入输出计算输出层各神经元的输入输出计算输出层各误差计算隐含层各误差修正输出层、隐含层权值和阈值样本全部训练完?误差<e?本轮训练结束更新训练总步数yesnoyesno
版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

BP神经网络的数学原理及其算法实现

什么是BP网络BP网络的数学原理BP网络算法实现 出处http://blog.csdn.net/zhongkejingwang/article/details/44514...

BP神经网络理论

<p style="margin: 10px

程序员升职加薪指南!还缺一个“证”!

CSDN出品,立即查看!

BP神经网络:误差反向传播公式的简单推导

最近看了一下BP神经网络(Backpropagation Neural Networks),发现很多资料对于BP神经网络的讲解注重原理,而对于反向传播公式的推导介绍的比较简略,故自己根据《PATTER...

BP神经网络在肺癌分类中应用_附matlab代码

    人工神经网络是用来模拟人脑结构及智能特点的一个前沿研究领域,它的一个重要特点是通过网络学习达到其输出与期望输出结果,具有很强的自学习、自适应、鲁棒性、容错性及存储记忆的能力。人工神经网络系统评价方法以其超凡的处理复杂非线性问题的能力独树一帜,这种方法忠于客观实际...

BP神经网络:图片的分割和规范化:《Python》系列。

,本文属于转载博客,感谢原创:BP神经网络:图片的分割和规范化:《Python》系列。 图像预处理 使用下图(后方称为 SAMPLE_BMP)作为训练和测试数据来源,下文将讲述如何将图像转换为训练...
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)