梯度下降原理

梯度下降

在不一定可解的情况下，不用公式来求最小值，而是通过尝试。线性回归是通过公式来求解。

梯度为求偏导，偏导值为梯度。下降为偏导值的下降方向。

常规套路：机器学习的套路就是交给机器一堆数据，然后告诉它怎样的方向是对的（目标函数），然后它朝着这个方向去做。

梯度下降就是求：什么样的参数能是目标函数达到最小值点。目标函数是误差的表达式，即真实值和预测值的差。

求参数步骤：

    1）找到合适的方向（偏导的方向）

    2）走小步，走快了怕错过最小值，而只求得极小值。

    3）按照放向和步伐更新参数

3种梯度下降算法：

批量梯度下降：考虑所以样本，容易的到最优解，但速度很慢。

随机梯度下降：每次找一个样本，速度快，但不一定都朝着收敛的方向。并不是每个样本都正确。

小批量梯度下降：每次选择一小部分数据来算！实用！！

学习率（步长）：沿着偏导的方向进行更新的长度。过大会错过最小值，过小没问题。所以以选择小的学习率为准。根据实际可调整越来越小。或者一开始为稍微大，越往后学习率越小。