BP神经网络

原创 2016年06月01日 13:20:30

BP神经网络

基本BP神经网络算法包括:
- 信号的前向传播
- 误差的反向传播

也即计算实际输出时按照输入到输出的方向进行,权值阈值调整则相反。
BP是一种多层前馈神经网络,由输入层、隐含层和输出层组成。层与层之间有两种信号在流动:一种是从输入流向输出的工作信号,是输入和权值的函数;另一种是输入流向输出的信号,即误差

信号的前向传播:

==隐含层==i个节点的输入和输出分别为:
输入:

neti=j=1Mωijxj+θi

输出:
oi=ϕ(neti)
=ϕ(j=1Mωijxj+θi)

M——输入层节点个数
ωij——隐含层第i个节点到第j个节点之间的权值
θi表示隐含层第i个节点的阈值
ϕ表示隐含层的激励函数
==输出层==第k个节点的输入和输出分别为:
输入:
netk=i=1qωkiyi+ak
=i=1qωkiϕ(neti)+ak

输出:
ok=ψ(netk)

误差的反向传播

由输出层开始逐层计算各层神经元的输出误差,根据==梯度下降法==调节各层的权值阈值
每一个样本p的二次型误差准则函数Ep

Ep=12k=1L(Tkok)2

系统对P个训练样本的总误差准则函数为:
Ep=12p=1Pk=1L(Tkok)

根据梯度下降法依次修正输出层权值的修正量Δωki输出层阈值的修正量Δak隐含层权值的修正量Δωij隐含层阈值的修正量Δθi
Δωki=ηEωki

Δak=ηEak

Δωij=ηEωij

Δθi=ηEθi

以上几个公式有专门公式推导。

BP算法流程图:

Created with Raphaël 2.1.0开始初始化权值阈值输入训练样本计算隐含层各神经元的输入输出计算输出层各神经元的输入输出计算输出层各误差计算隐含层各误差修正输出层、隐含层权值和阈值样本全部训练完?误差<e?本轮训练结束更新训练总步数yesnoyesno
版权声明:本文为博主原创文章,未经博主允许不得转载。

BP神经网络的前世今生

在神经网络家族中,有很多种神经网络,为什么偏偏要谈bp神经网络呢,因为bp神经网络在工业界运用较为广泛,技术相对成熟。另外,在学术界bp神经网络是一种经典的神经网络。本文会从bp神经网络的设计、结构、...
  • dengjiexian123
  • dengjiexian123
  • 2016年11月05日 21:26
  • 12578

深度学习_BP神经网络

现在使用深度学习算法都以调库为主,但在使用库之前,先用python写一个最基本的神经网络的程序,也非常必要,它让我们对一些关键参数:学习率,批尺寸,激活函数,代价函数的功能和用法有一个直观的了解。...
  • xieyan0811
  • xieyan0811
  • 2017年11月02日 15:36
  • 420

BP神经网络-总结

本文讲解BP网络学习算法的实质、最速下降算法、BP算法,并总结了BP神经网络在实用中的设计经验。...
  • tyhj_sf
  • tyhj_sf
  • 2017年02月11日 15:28
  • 1213

简单的理解BP神经网络

在百度文库上看到一篇《BP神经网络的基本原理+很清楚》后,仔细阅读,从一个完全不知道其中数学原理的过程,到现在知道。甚是佩服自己,然后再继续阅读之前打开的网页标签时,看到博主的一篇文章《简单易学的机器...
  • MineralterMan
  • MineralterMan
  • 2015年04月10日 23:02
  • 1397

BP神经网络的MATLAB实现

算法流程关于BP神经网络的公式推导,上一篇博文《BP神经网络原理简单介绍以及公式推导(矩阵形式和分量形式) 》已经做了详细的说明。接下来,我们利用MATLAB对BP神经网络进行实现。我们直接上代码,并...
  • weiwei9363
  • weiwei9363
  • 2017年05月18日 15:56
  • 1552

C++从零实现BP神经网络

BP(backward propogation)神经网络实现过程中的一些学习资料、心得,以及最终的源码实现,力求通俗、易懂...
  • yOung_One
  • yOung_One
  • 2015年10月27日 22:50
  • 11702

BP神经网络的优缺点介绍

人工神经网络(Artificial Neural Network)又称连接机模型,是在现代神经学、生物学、心理学等学科研究的基础上产生的,它反映了生物神经系统处理外界事物的基本过程,是在模拟人脑神经组...
  • chengl920828
  • chengl920828
  • 2017年04月10日 14:23
  • 3408

从神经网络到BP算法(纯理论推导)

本文会从最基本的神经网络结构开始,一步步推导,最终得到一个神经网络利用BP算法进行训练的完整过程,以及中间会用到的公式的推导。...
  • FernChen
  • FernChen
  • 2016年07月08日 15:22
  • 9039

神经网络学习 之 BP神经网络

上一次我们讲了M-P模型,它实际上就是对单个神经元的一种建模,还不足以模拟人脑神经系统的功能。由这些人工神经元构建出来的网络,才能够具有学习、联想、记忆和模式识别的能力。BP网络就是一种简单的人工神经...
  • u013007900
  • u013007900
  • 2015年11月30日 21:17
  • 27608

深入浅出BP神经网络算法的原理

相信每位刚接触神经网络的时候都会先碰到BP算法的问题,如何形象快速地理解BP神经网络就是我们学习的高级乐趣了(画外音:乐趣?你在跟我谈乐趣?) 本篇博文就是要简单粗暴地帮助各位童鞋快速入门采取BP算法...
  • lzhalan2016
  • lzhalan2016
  • 2016年08月26日 23:45
  • 19489
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:BP神经网络
举报原因:
原因补充:

(最多只允许输入30个字)