BP神经网络

神经网络知识简述

人工神经元：
人工神经元是人工神经网络操作的基本信息处理单位。
人工神经元模型：

一个人工神经元对输入X=[x₁,x₂,…x_m]^T的输出为 y=f(u + b)，
其中有：

b为阈值。

激活函数：
人工神经网络的学习也称为训练，在分类与预测中，人工神经网络主要使用有指导的学习方式，根据给定的训练样本调整神经网络的参数使得网络输出接近已知的样本类标记或其它形式的因变量。

δ学习规则(误差校正学习算法)：
在分类与预测中，δ学习规则是使用最广泛的一种。误差校正学习算法根据神经网络的输出误差对神经元的连接强度(权值)进行修正，属于有指导学习。
δ学习规则示意图：

图中神经元 i 为输入神经元，神经元 j 为输出神经元，它们的连接权值为W_ij，则对权值的修正为：

其中η为学习率，δ_j = T_j-Y_j代表神经元 j 的偏差。

目标函数(误差函数)：
神经网络的训练是否完成常用误差函数E来衡量。当误差函数E小于某一给定的值时就停止神经网络的训练。常采用最小二乘误差函数来定义E:

k=1,2,…N为训练样本个数。

BP神经网络

简介：
BP神经网络是一种按误差的逆传播算法训练的多层前馈网络，它的学习算法是δ学习规则，目标函数采用

思想：
BP(Back Propagation)算法(反向传播算法)的特征是利用输出后的误差来估计输出层的直接前导层的误差，再利用这个误差估计更前一层的误差，如此一层一层的反向传播下去就得到了所有层的误差估计。
以3层BP网络为例，如下图所示，有3个输入节点，4个隐藏节点和1个输出节点。
BP算法的学习过程有信号正向传播和误差逆向传播两个过程组成。正向传播时，输入信号经过隐层的处理传给了输出层。若输出层节点未能得到期望的输出，则转入误差的逆向传播阶段，将输出误差通过隐层向输入层返回，并‘分摊’给4个隐层节点和3个输入节点，从而获得各层单元的误差信号，这些误差将作为修改各层单元的阈值和各层单元之间的权值的依据。

学习过程：
(1)算法开始后，给定学习次数上限和误差上限，初始化当前学习次数为0，对阈值和权值赋予小的随机数，一般在[-1, 1]之间。
(2)输入样本数据，得到中间层和输出层的值。
(3)比较输出层的值和期望值得到误差，计算误差函数E是否小于误差上限，学习次数是否达到指定值，如果误差函数E小于误差上限或者学习次数达到指定值则学习结束，如果都不满足则对中间层和输入层的权值及阈值进行更新，更新算法为δ学习规则。
(4)重复2、3步骤直到学习结束。

学习过程流程图：