BP算法的推导

  BP算法步骤：

1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层

注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）

2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层

其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。

注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调整）。

     对于BP算法的推导目前看到最好的教程是ufldl课程上的推导。网址为http://ufldl.stanford.edu/tutorial/supervised/MultiLayerNeuralNetworks/。涵盖了具体的前向传播和后向传播。

   中文比较详细的反向传播公式的推导网址为：http://ufldl.stanford.edu/wiki/index.php/反向传导算法。（里面添加了残差公式具体推导）。