梯度下降法

一、为什么用梯度下降？

通过OLS（最小二乘法）得到：J(θ)=，而通过这个真的能够求得θ，但是不建议这么做，原因有二点：

第一：不确定是否可逆

第二：线性回归仅仅是一个特例，它可能会求得θ值。但是其他的损失函数就不一定。

二、什么是梯度下降、梯度上升？

梯度是多元微积分中的概念，就是值增长最快的方向。梯度为0时，可以认为是极值点，不在发生变化。

求极值时，有2个优化算法：梯度上升（求最大值）--沿着梯度方向走、梯度下降（最小值）--沿着负梯度方向走

梯度下降算法用通俗的语言来说：站在小山包上，想要走到山的最低点，怎么走？

（1）在当前点，往四周望，看哪个地方可以下降的最快（负梯度方向），就往哪个方向迈一步。

（2）到了下一个新点，同样执行前面操作，如此循环往复，总能走到一个最低点（局部最低）。我们知道，起码得到一个局部的极小值点。这个点或许就是我们想要的θ（如果是凸函数，那么这个点就是最小值）。

如下图所示：最终会在7 8范围之间震荡，幅度会很小，最终达到收敛。

（3）并不是说，步长小就一定不会震荡。仅仅是震荡的幅度较小，几乎可以忽略不计。

三、怎么求θ？

【1】批量梯度下降法

（1）一定会得到全局最优解。

（2）本质：每走一步，求负梯度方向时，会用到全部的数据。（公式略）

【2】随机梯度下降法

四、总结：

• 梯度下降是优化领域中最重要的思路，而随机梯度下降又是这里面最重要的，往往能调出局部最小值。
• 越接近目标值，步长越小，前进越慢。
• 当目标函数是凸函数时，梯度下降法的解是全局解。但一般情况下，其解不保证是全局最优解。
• 梯度下降法的速度也未必是最快的。