神经网络学习笔记（三）BP神经网络

绪论

   BP神经网络也成为误差反向传递网络，在BP网络中，信号是正向传递的，而误差是反向传递的，能够对有限个不连续点的函数进行逼近。标准BP网络采用梯度下降法，网络权值沿着性能函数的梯度的反向调整。

结构

系统输入被赋予一定权值后与偏差求和形成神经元的输入，经过输入层激活函数之后形成对隐藏层的输入，隐藏层经过将输入赋予权值并与偏差求和后形成输出，将隐藏层输出经过激活函数（通常是Sigmoid函数）后形成对输出层的输入，最后在经过将输入赋予权值并与偏差求和后形成输出并经过相应函数（通常是Purelin函数）后得到输出。

BP网络的优势

（1）非线性映射能力。针对有大量输入输出数据但是有无法得到其数学函数关系的数据，可以通过BP训练，得到相应的映射关系。
（2）BP训练后将所训练样本得到的权值关系保留在权值矩阵中，这使得当系统重新输入一个陌生数据时，能通过BP网络得到正确的映射结果。
（3）容错能力。允许输入样本输入偏差非常大的值，对结果产生的影响可以近似忽略。

BP算法缺点及改进

缺点：(1)容易陷入局部最小
      (2)收敛速度慢
改进：（1）附加动量项，提高训练收敛速度。动量项反映了以前的调