BP神经网络

BP神经网络

最近打算学习卷积神经网络，发现关于BP算法都已经忘了，再来梳理一遍。

反向BP神经网络

1. 正向传播
   输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。
2. 反向传播
   反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。
   其实反向传播的核心计算就是，梯度下降+链式求导。

BP神经网络的算法流程

在反向传播算法应用于前馈多层网络时，采用Sigmoid为激发函数时，可用下列步骤对网络的权系数$W_{ij}$ 进行递归求取。注意对于每层有n个神经元的时候，即有i＝1，2，…，n；j＝1，2，…，n。对于第k层的第i个神经元，则有n个权系数$W_{i1} ，W_{i2} ，…，W_{in}$，另外取多—个$W_{in+1}$ 用于表示阀值$θ_i$ ；并且在输入样本X时，取$x＝(X_1 ，X_2 ，…，X_n ，1)$。

1. 
   

2. 对权系数$W_{ij}$ 置初值，对各层的权系数$W_{ij}$ 置一个较小的非零随机数，但其中$W_{i ,n+1}=-θ$ 。

3. 输入一个样本$X＝(x_1 ，x_2 ，…，x_n ，1)$，以及对应期望输出$Y＝(Y_1 ，Y_2 ，…，Y_n )$。

4. 计算各层的输出。对于第k层第i个神经元的输出$X_i^k$ ，有：

   $$U_i^k=\sum_{j=1}^{n+1}W_{ij}X_j^{k-1}, X_{n+1}^{k-1}=1,w_{i,n+1}=-\theta$$
   $$X_i^k=f(U_i^k)$$

5. 求各层的学习误差$d_i^k$，对于输出层有k＝m，有
   $$d_i^m=X_i^m(1-X_i^m)(X_i^m-Y_i)$$
   对于其他各层，有
   $$d_i^k=X_i^k(1-X_i^k)\sum_lW_{li}d_l^{k+1}$$
6. 修正权值系数和阈值$\theta$
   $$W_{ij}(t+1)=W_{ij}(t)-\eta d_i^kX_j^{k-1}$$
   为了加快收敛速度，一般考虑上一次的权值系数，并以它作为本次修正的依据之一，修正后如下
   $$W_{ij}(t+1)=W_{ij}(t)-\eta d_i^kX_j^{k-1}+\alpha\nabla W_{ij}(t)$$
7. 求出了各层的各个权值系数之后，可按指定的指标判断是否满足要求。如果满足要求则算法结束，如果未满足要求则返回3继续执行。
   

若修改了激发函数，则需要重新计算误差和权值阈值修改的公式，以上步骤中的推导，主要是对第5步中的权值阈值修改，这个公式的推导详见http://www.cnblogs.com/wengzilin/archive/2013/04/24/3041019.html

• 一般激活函数会使用sigmoid或者tanh。