BP反向传播算法的具体思想和计算方式
- BP算法采用有监督学习方式,基于梯度下降算法,极小化误差函数
- 主要思想:将学习过程分为信号正向传播过程和误差反向传播过程两个阶段。
- 什么是梯度下降算法?梯度下降算法:如果移动是在误差曲面上沿着梯度下降的方向进行,称作最速梯度下降法。BP算法基于梯度下降算法。在梯度下降算法中,权值的修正量正比于误差函数E(W)对W的负梯度,即
- 它的算法描述如下
- 在jiawei han的数据挖掘一书中,有这样一个例子:
假设训练样本s的属性值为{1,0,1},实际类别为1,两层前馈神经网络如图1所示,初始权重和神经元阈值如表下表所示,学习率为η=0.9,结点转移函数为sigmoid函数。写出该神经网络一次学习完整过程