Rprop( resilient backpropagation ):弹性反向传播算法。分为两步,一是调整步长,而是根据步长调整权重。+表示权重会回退,-表示不会回退。
简单来说,就是该算法将学习率控制在一个预设的范围内,可弹性改变学习率。
公式中字符的表示:
- 步长调整规则:(以下算法通用)
- Rprop+
- Rprop-
- i的意思
- iRprop+
- iRprop-
详细论文:[1] Igel C , M Hüsken. Improving the Rprop Learning Algorithm. proceedings of the second international symposium on neural computation, 2000.
MATLAB代码论文:Gutierrez P A, Perezortiz M, Sanchezmonedero J, et al. Ordinal regression methods: survey and experimental study[J]. IEEE Transactions on Knowledge and Data Engineering, 2016, 28(1): 127-146.