弹性反向传播(RProp)和均方根反向传播(RMSProp)
都是一种权值更新算法,类似于SGD算法,其中,RMSProp是RProp算法的改良版。RProp算法首先为各权重变化赋一个初始值,设定权重变化加速因子与减速因子。在网络前馈迭代中当连续误差梯度符号不变时,采用加速策略,加快训练速度;当连续误差梯度符号变化时,采用减速策略,以期稳定收敛。网络结合当前误差梯度符号与变化步长实现BP,同时,为了避免网络学习发生振荡或下溢,算法要求设定权重变化的上下限
转载
2017-11-23 21:59:27 ·
15036 阅读 ·
0 评论