学习速率选择

梯度下降法是机器学习中常用的方法，而学习速率（步长）的选择对收敛有很大的影响。学习速率太大，可能导致震荡甚至不能收敛，学习速率太小，导致收敛太慢。
所以选择学习速度（步长）时，可以按照如下数列一次选择进行调参。数列：0.001, 0.003, 0.01, 0.03， 0.1， 0.3， 1。也就是从0.001一来，依次增大三倍。