Regression---梯度下降算法

（1）定义：梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。

批量梯度下降算法公式如下：

（其中 α代表学习率）

（2）学习率的理解：可以把梯度下降的过程看作是寻找下山的过程，目的是为了找到最低点，而α代表迈的步子的大小，如果α过大，则有可能会导致直接跨过最低点；如果α过小，则会导致下山的速度过慢。如下图所示：

（3）自适应学习率：为了使学习率变得合适，随着次数的增加，通过一些因子来减少学习率

• 通常刚开始，初始点会距离最低点比较远，所以使用大一点的学习率

• update好几次参数之后呢，比较靠近最低点了，此时减少学习率

• 比如 t 是次数。随着次数的增加，减小

   

   

学习率不能是一个值通用所有特征，不同的参数需要不同的学习率

（4）Adagrad算法（待继续学习）