随机梯度下降法步长的选择

1、随机梯度下降法步长的选择

以前网上有看到过，说是最好按3倍来调整，也就是0.00001、0.00003、0.0001、0.0003、0.001、0.003、0.01、0.03、0.1、0.3……然后确定范围之后再微调。

如果α取值过大，可能会导致迭代不收敛，从而发散。所以，一开始α的取值也要比较小心才行。

随着迭代次数的增加，一般需要慢慢减小α，因为这样能得到一个更好的结果。至于怎么减小α，也是有很多种策略，可以每次迭代都更新α的值，如α *= 0.96， 也可以 α*=α, 也可以每迭代几次更新一次α的值，方法很多，什么方式更好呢？实验吧……这跟数据有很大关系。

关于正则化参数λ的取值，因为才疏学浅，了解得不多，所以不便多说。不过一般来说λ不会取太小，我的感觉是0.001和1之间吧，也可以每次迭代都更新λ的值。比如一开始取比较小的值，然后随着迭代次数的增加，慢慢增加λ。

总结下，学习速率α越大，收敛越快，正则化参数λ越大，收敛越慢。收敛速度太快，可能一下子就越过极值点，导致发散；太慢则可能需要迭代非常多次，导致时间成本非常高。所以，α和λ取到一个合适的值，还是非常重要的。

***********2013年5月26日13:58:07*************

刚看到一种调整α的方法，就是 \(\alpha_{k} = \alpha_{0} \frac{\tau}{\tau+k}\) ， 当然，α的初始值也不能太大，不然还是会发散。

这个策略一个不好的地方就是 \(\tau\) 的取值问题，糟糕的取值可能会导致收敛非常慢。

原文地址：http://ju.outofmemory.cn/entry/31137

2、梯度下降法步长的取值范围

在梯度下降法中，我们往往需要设置一个合适的步长。但是有时步长设置太大，使得我们要估计的系数在迭代过程中不断增大，最后趋于无穷大，程序陷入死循环或溢出。下面的讨论给出了步长上限的一个估计，其中参数的迭代公式是(使用矩阵表示)：

其中是步长。将这个公式变形一下，得到

可以看出，对的每个分量，都是相同的。因此后面我们可以用分量来进行讨论，这时候上面的公式就是一个标量公式。

对于这个迭代，要么发散，要么收敛于一个稳定点，要么在多个稳定点中做周期震荡（即周期N）。因此我们可以计算其收敛点，并计算其收敛条件。

当收敛时，它是一个稳定点，即，解出，与最小二乘法给出的结果一致。

按照非线性理论中的稳定性条件要求：，即，因此（这里使用了标量来求解）。

所以，当步长超出这个范围，是不稳定的，很容易导致发散。

原文地址：http://blog.sciencenet.cn/blog-477629-822983.html