弹性反向传播

弹性反向传播算法学习笔记

Resilient backppropagation

正常使用的反向传播算法有两个缺点待解决，其一为学习过程中学习率的选择较难，一旦学习率选择不当会造成学习效果不好；其二为反向传播算法的梯度弥散作用，即距离输出层越远的神经元学习的速度越慢。
Martin Riedmiller也因此提出了弹性反向传播算法（Rprop）

1、学习率

反向传播算法中的学习率为用户提前设定的固定的η，并在整个网络中使用单一的η，因此就会出现学习率选择的问题，而在Rprop中，每一个可优化的权重都对应着一个单独的η，不同的权重的学习率不同，并且这些学习率并不是由用户指定，而是由程序自动的设定，这些学习率在程序执行过程中也并不是静态不变的，而是每一个学习时间点学习率都在不断地更新，即

2、权重的更新

在一般的反向传播算法中，学习过程中权重的改变量是由误差函数对该权重的偏导（即梯度）所决定，直观上很有道理，However,We incorporate every jagged feature of the error surface,It is at least questionable.这句看不懂，总之有问题就是了啦啦啦<