多层神经网络加速学习效率的方法

1.改变激活函数

传统的激活函数使用S型函数，现在使用双曲线正切函数来替代

                         （一般取：a=1.716， b,0.667）

2.加入动量常数

计算权重的增加值的Delta规则中，加入动量常数加速训练

                      

其中一般取β=0.95，γ为隐藏层的输出，δ为输出层的误差梯度

3.使用启发式学习率提高训练速度

如果在临近的几个周期中，误差平方和变化的代数符号相同，则增加学习率参数α

如果在临近的几个周期中，误差平方和变化的代数符号相同，则减少学习率参数α

如果本周期中误差的平方和大于前一次值的预先指定的倍数（通常为1.04倍），则减少学习率参数，通常α=0.7*α,并计算新的权重和阈值；如果小于前一次，则增加学习率，通常为α=1.05*α