BP神经网络模型与学习算法

转载 2013年12月05日 15:26:13

一,什么是BP

"BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)。"

我们现在来分析下这些话:

  • “是一种按误差逆传播算法训练的多层前馈网络”

BP是后向传播的英文缩写,那么传播对象是什么?传播的目的是什么?传播的方式是后向,可这又是什么意思呢。

传播的对象是误差,传播的目的是得到所有层的估计误差,后向是说由后层误差推导前层误差:

即BP的思想可以总结为

利用输出后的误差来估计输出层的直接前导层的误差,再用这个误差估计更前一层的误差,如此一层一层的反传下去,就获得了所有其他各层的误差估计。 
  • “BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)”

我们来看一个最简单的三层BP:

  • “BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。”

BP利用一种称为激活函数来描述层与层输出之间的关系,从而模拟各层神经元之间的交互反应。

激活函数必须满足处处可导的条件。那么比较常用的是一种称为S型函数的激活函数:

那么上面的函数为什么称为是S型函数呢:

我们来看它的形态和它导数的形态:

p.s. S型函数的导数:

神经网络的学习目的:

希望能够学习到一个模型,能够对输入输出一个我们期望的输出。
 
学习的方式:
在外界输入样本的刺激下不断改变网络的连接权值
 
学习的本质:
对各连接权值的动态调整

学习的核心:

权值调整规则,即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。

二,有监督的BP模型训练过程

1. 思想

有监督的BP模型训练表示我们有一个训练集,它包括了: input X 和它被期望拥有的输出 output Y

所以对于当前的一个BP模型,我们能够获得它针对于训练集的误差

所以BP的核心思想就是:将输出误差以某种形式通过隐层向输入层逐层反传,这里的某种形式其实就是:

也就是一种 "信号的正向传播 ----> 误差的反向传播"的过程:

2.具体

这里解释下根据误差对权值的偏导数来修订权值:

简单易学的机器学习算法——神经网络之BP神经网络

一、BP神经网络的概念 二、BP神经网络的
  • google19890102
  • google19890102
  • 2014年06月21日 11:49
  • 49465

BP神经网络模型与学习算法

在感知器神经网络模型与线性神经网络模型学习算法中,理想输出与实际输出之差被用来估计神经元连接权值误差。当解决线性不可分问题而引入多级网络后,如何估计网络隐含层神经元的误差就成了一大难题。因为在实际中,...
  • gscienty
  • gscienty
  • 2016年11月27日 19:59
  • 3572

机器学习——BP神经网络模型

"BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。B...
  • NIeson2012
  • NIeson2012
  • 2016年04月26日 19:04
  • 7966

人工神经网络算法-BP算法原理

人工神经网络是由大量的神经元按照大规模并行的方式通过一定的拓扑结构连接而成的。按照一定的规则将神经元连接成神经网络,并使网络中各神经元的连接权按一定的规则变化,这样一来也就产生了各式各样的神经网络模型...
  • wj176623
  • wj176623
  • 2016年09月11日 15:34
  • 3006

机器学习之深入理解神经网络理论基础、BP算法及其Python实现

人工神经网络(Artificial Neural Networks,ANN)系统是 20 世纪 40 年代后出现的。它是由众多的神经元可调的连接权值连接而成,具有大规模并行处理、分布式信 息存储、良好...
  • sinat_35512245
  • sinat_35512245
  • 2017年02月16日 09:25
  • 3834

神经网络学习 之 BP神经网络

上一次我们讲了M-P模型,它实际上就是对单个神经元的一种建模,还不足以模拟人脑神经系统的功能。由这些人工神经元构建出来的网络,才能够具有学习、联想、记忆和模式识别的能力。BP网络就是一种简单的人工神经...
  • u013007900
  • u013007900
  • 2015年11月30日 21:17
  • 26271

深度学习之BP神经网络

深度学习之BP神经网络BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络。它的学习规则是使用...
  • lanmengyiyu
  • lanmengyiyu
  • 2017年01月03日 20:52
  • 1851

MATLAB神经网络编程(五)——BP神经网络的模型结构与学习规则

《MATLAB神经网络编程》 化学工业出版社 读书笔记 第四章 前向型神经网络 4.3 BP传播网络 本文是《MATLAB神经网络编程》书籍的阅读笔记,其中涉及的源码、公式、原理都来自此书,若...
  • FIELDOFFIER
  • FIELDOFFIER
  • 2015年03月24日 22:04
  • 4323

周志华《Machine Learning》学习笔记(6)--神经网络

上篇主要讨论了决策树算法。首先从决策树的基本概念出发,引出决策树基于树形结构进行决策,进一步介绍了构造决策树的递归流程以及其递归终止条件,在递归的过程中,划分属性的选择起到了关键作用,因此紧接着讨论了...
  • u011826404
  • u011826404
  • 2016年12月20日 19:36
  • 3245

Stanford机器学习---第五周.BP神经网络算法

第五周  BP神经网络算法Back propagation algorithm 关键词             代价函数J(Θ)、反向传播、梯度检验、随机初始化、自动驾驶 重要的话          ...
  • u012717411
  • u012717411
  • 2016年01月21日 17:50
  • 2684
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:BP神经网络模型与学习算法
举报原因:
原因补充:

(最多只允许输入30个字)