BP神经网络基础（一）

BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络。

BP神经网络具有任意复杂的模式分类能力和优良的多维函数映射能力，解决了简单感知器不能解决的异或(Exclusive OR，XOR)和一些其他问题。从结构上讲，BP网络具有输入层、隐藏层和输出层；从本质上讲，BP算法就是以网络误差平方为目标函数、采用梯度下降法来计算目标函数的最小值。

所谓神经网络的训练或者是学习，其主要目的在于通过学习算法得到神经网络解决指定问题所需的参数，这里的参数包括各层神经元之间的连接权重以及偏置等。因为作为算法的设计者（我们），我们通常是根据实际问题来构造出网络结构，参数的确定则需要神经网络通过训练样本和学习算法来迭代找到最优参数组。

说起神经网络的学习算法，不得不提其中最杰出、最成功的代表——误差逆传播（error BackPropagation，简称BP）算法。BP学习算法通常用在最为广泛使用的多层前馈神经网络中。

　　BP算法的主要流程可以总结如下：

　　输入：训练集; 学习率;

　　过程：

　　1. 在(0, 1)范围内随机初始化网络中所有连接权和阈值

　　2. repeat:

　　3.　　 for all (xk,yk)∈D do

　　4. 　　　　根据当前参数计算当前样本的输出;

　　5. 　　　　计算输出层神经元的梯度项；

　　6. 　　　　计算隐层神经元的梯度项；

　　7. 　　　　更新连接权与阈值

　　8. 　　end for

　　9. until 达到停止条件

　　输出：连接权与阈值确定的多层前馈神经网络