通过不断重置学习率来逃离局部极值点

/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/

                                              

                                                                                         黄通文   张俊林（ 2016年12月）

                                                            

注：这篇文章的思路以及本文是我们在2016年底左右做自动发现探索网络结构过程中做的，当时做完发现ICLR 2017有类似论文提出相似的方法，所以没有做更多实验并就把这篇东西搁置了。今天偶然翻到，感觉还是有一定价值，所以现在发出来。

对于神经网络目标函数优化来说，在参数寻优过程中最常