-
关于BP反向传播算法自己的一些理解,便于日后回顾。
BP算法是神经网络(Nueral Network)的核心思想。其主要的作用是,根据实际输出(output)与期望输出(target)的误差(Error)来调整权重(weight)。使得实际输出更好的贴合期望输出。 -
BP算法的英文全称是Error Back Propagation,即误差反向传播算法。
下面以两层神经网络为例,说明BP算法。即输入层(input)、隐藏层(hidden)和输出层(output)。一般输入层不算做一层。因此是两层神经网络。2.1 正向传播
在进行误差反向传播之间,先进行正向传播,将权重和节点值相乘。再将结果通过激活函数(例如:sigmoid函数)。作为下层节点的输入。2.2 反向传播
反向传播时,将输出误差以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元, 使各层单元获得误差信号作为修正各单元权值的依据
反向传播示意图如下:
-
BP算法-学习目的和学习方法
3.1 学习目的—使得误差(Error)最小,即最小化(target-output)
3.2学习方法—梯度下降
即通过求导的方法,沿着误差变小的方向移动。
-
证明过程
对于以上的证明,没有理解也没关系。记住下图中的公式即可。
以上便是我对BP算法的理解。如有错误,敬请指正!