BP神经网络

定义

BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入—输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用梯度下降最快的方法，通过反向传播来不断调整网络的权值和阈值﹐使网络的误差平方和最小。BP神经网络主要的特点是：信号是前向传播的，而误差是反向传播的。

BP神经网络结构

对结构图的理解：
1、输入层：需要处理的数据
2、隐藏层：可以包含多个层次，是不确定的
3、输出层：经过神经网络处理得到的结果，有多少个结果即分为多少个类

输入层的数据乘上给定的权值加上偏置参数得到下一个层的数值（也可以称为特征值），如果这个数值大于给定的阈值将对这个数值投入到激活函数里，得到一个非线性的特征量。其他数值按照这样的运算计算出输出层的特征值。
计算出输出层的特征值与给定的特征值之间的总误差：
得到总误差之后再通过每一个权值进行偏导，从而不断的更新权值的大小，使偏导函数的数值尽可能的趋向0，进而得到较好的权值。

偏导数的过程


至于为什么叫BP神经网络，是因为BP神经网络通过初次给定权值从而计算出给定权值计算出的误差与实际误差之间的差值，再根据这个差值来更新相应的权值，进而找出最优的权值。通过反向找最优权值的过程，得到最优的模型结果，因此叫反向传播神经网络，简称BP。

本文图片引用的链接
具体运算的推导请看相应链接。