BP神经网络算法

查看原文：http://www.wyblog.cn/2017/02/12/bp%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c%e7%ae%97%e6%b3%95/
BP神经网络概念

BP(Back Propagation)神经网络是在1986年被Rumelhart与McCelland等科学家提出的概念，正如名字所说，它是一种back propagation型的网络，它将训练误差进行逆向传播，通过前馈的方式不断修正网络中各神经元的权值，而进行自身学习的。

BP神经网络拓扑结构包含有三个层，输入层、隐含层以及输出层。层与层之间即通过神经元映射关系而连接，这种网络中包含有大量输入输出映射关系，所以要学习的参数也是非常的多，但是这种结构的好处就是我们可以用这种简单的映射关系而拟合出任何一种高阶复杂的函数(万能逼近定理)。

BP神经网络的典型结构图如下：



这里输入层、隐含层、输出层的神经元个数都是可以根据需要进行自由调节的，所以BP神经网络既能进行分类任务，也能进行回归任务，它是一种典型的有监督学习方式。

模型

BP神经网络包含了两个过程：


 
 
 

  
激励信号正向传递过程
  
误差信号反向传播过程
 

正向传递

前向传递的两个神经元为节点i与节点j，i与j之间的权值为ωij，在节点j处，还