BP反向传播算法

1. 关于BP反向传播算法自己的一些理解，便于日后回顾。
   BP算法是神经网络（Nueral Network）的核心思想。其主要的作用是，根据实际输出（output）与期望输出（target）的误差（Error）来调整权重（weight）。使得实际输出更好的贴合期望输出。

2. BP算法的英文全称是Error Back Propagation，即误差反向传播算法。
   下面以两层神经网络为例，说明BP算法。即输入层（input）、隐藏层(hidden)和输出层(output)。一般输入层不算做一层。因此是两层神经网络。

   2.1 正向传播
   在进行误差反向传播之间，先进行正向传播，将权重和节点值相乘。再将结果通过激活函数（例如：sigmoid函数）。作为下层节点的输入。

   2.2 反向传播
   反向传播时，将输出误差以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元, 使各层单元获得误差信号作为修正各单元权值的依据
   反向传播示意图如下：
   

3. BP算法-学习目的和学习方法
   3.1 学习目的—使得误差(Error)最小，即最小化(target-output)
   
   3.2学习方法—梯度下降
   即通过求导的方法，沿着误差变小的方向移动。
   

4. 证明过程
   
   

对于以上的证明，没有理解也没关系。记住下图中的公式即可。

以上便是我对BP算法的理解。如有错误，敬请指正！