BP神经网络原理及Python实现

最近刚好在跟着课程一起学TensorFlow，顺道把整个神经网络的理论复习一遍，最后通过Python实现BP算法。

BP神经网网络原理

从个人理解，BP（反向传播）算法主要是一种求解多层“感知器”中连接权重的迭代方法。其基本思想是，学习信号由信号的正向传播和反向传播两个过程组成，输入信号由输入层传入，经过各隐藏层处理后，传出输出层，若输出层的实际输出与期望的输出不符合时，则转入反向传播阶段。误差反穿是将输出误差以某种形式通过隐藏层向输出层主城传递，并将误差分配给各层的所有单元，并以此信号作为修正各单元权值的依据。这个权值调整的过程就是网络学习训练的过程，这个过程可以一直进行到网络输入的误差减少到可接受的程度或者进行到预先设定的学习次数。

BP网络模型

如上图所示的单隐层网络是目前应用最为广泛的多层感知器神经网络。其中包括了最左侧的输入层，中间的隐藏层和最右侧的输出层。

在三层感知器中，输入向量为$\mathbf{X}={\left(x_1,x_2,\cdots ,x_i,\cdots ,x_n\right)}^{\mathrm{T}}$，其中$x_0=-1$是为输出层神经元引入阈值而设置；隐藏层的输出向量为$\mathbf{Y}={\left(y_1,y_2,\cdots ,y_i,\cdots ,y_m\right)}^{\mathrm{T}}$，其中$y_0=-1$ 是输出层神经元阈值；输出层向量为$\mathbf{O}={\left(o_1,o_2,\cdots ,o_i,\cdots ,o_l\right)}^{\mathrm{T}}$：；期望输出向量为$\mathbf{D}={\left(d_1,d_2,\cdots ,d_i,\cdots ,d_m\right)}^{\mathrm{T}}$。输入层到隐藏层之间的权值矩阵用$\mathbf{V}$表示，其中列向量${\mathbf{V}}_j$为隐藏层第j个神经元对应的权向量；隐层到输出层之间的权值矩阵用$\mathbf{W}$表示，其中${\mathbf{W}}_k$表示输出层第$k$个神经元对应的权向量。下面分析各层输出的数学关系。

对于输出层，有：

$o_k=f\left({\text{ net }}_k\right)k=1,2,\cdots ,l$
${\text{ net }}_k={\sum }_{j=0}^m{w}_{jk}{y}_{j}k=1,2,\cdots ,l$

对于隐藏层，有：
$y_j=f\left({\text{ net }}_j\right)j=1,2,\cdots ,m$
 net  j = ∑ i = 0 n ν i j x i j = 1