神经网络的6种监督学习传播算法

反向传播算法BP

• 以梯度下降法为依据与梯度下降法又有不同。
• 需要提供学习率和动量参数。
• 用梯度下降算法计算改变权重。

算法步骤：

1. 输入样本、学习率
2. 初始化权重W，与偏置b
3. 反复执行：(1)正向传播信息：选定样本，沿着一层层的网络算出估计值y（2）反向传播误差：依照估计值与实际值，由损失函数产生的梯度，更新W,b

曼哈顿更新规则

需要提供学习率（较小）和权重改变量（常量，e.g0.00001）。

解决了反向传播算法中导致权重改变量太大的问题。丢弃梯度的值，而只用梯度的符号。即如梯度>0,则权重+一个特定的值（权重改变量），=0不改变，<0则-一个特定的值（权重改变量）。

快速传播算法

需要提供学习率。（2.0很好）

基于牛顿法，不需要动量参数。（经典的QPROP比BP高效很多）

弹性传播算法

不需要提供参数。

最有效的监督前馈神经网络训练算法。类似曼哈顿更新，但不用提供常量，delta随梯度变化。

量化共轭梯度法SCG

不需要参数。

基于共轭梯度法，但不是所有数据都适用，适用时效率很高。

LM算法（Levenberg Marquardt ，LMA）

不需要提供参数。

最有效的训练算法。该算法是牛顿法和梯度下降算法相结合的一种混合算法。梯度下降算法保证收敛到局部极小值，但比较缓慢；牛顿法很快，但很容易不收敛。通过使用阻尼因子在两者之间插值，生成了LM算法，整合了两者的优势。