在用计算机求解优化问题的时候,常常会涉及到搜索步长的问题,无论你是使用梯度下降还是使用牛顿法,还是其他的一些搜索算法而言,步长的选取都是无可避免的问题,当然步长的选取也有一系列的方法,而比较常用的有设置搜索步长为常数,或者是选取一个数列使得步长随着迭代的次数而变化,比较常用的有设置步长为:1/2的冥,也就是1,1/2,1/4,......(不推荐使用,虽然这是常常使用的方式,甚至有的老师都是这么说的,但是真的不推荐使用这种方法,原因的话下面会详细说明);还有就是1,1/2 ,1/3,......(这种方法,比较合适,但是可能需要根据实际来改进,下面也会详细的说明)
首先,这里给出作为迭代步长的两个需要满足的条件(假设an表示,步长序列):
对于上面的那个条件,是很好理解的,因为当我们越来越接近(迭代了很多次)最小值