机器学习【2】：梯度下降算法，梯度下降实现简单回归案例

一. 梯度下降

     1. 什么叫梯度下降？

       假设现在在一个二维空间，只有x,y坐标。我模拟一个简单的场景：

       梯度下降法的基本思想可以类比为一个游客下山的过程。假如一个人被困在山上，需要下山(也就是找到山的最低点)。但此时山上的浓雾很大，导致可视度很低。因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，同理，如果我们的目标是上山，也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走。然后每走一段距离，重复之前的方法，最后就能成功的抵达山下（找到最低点）。

               

 

     2. 梯度

        上面我们说了要想下山要找最陡峭的方向，不断往下走，那么最陡峭指的是什么呢？还记得斜率吗，沿着当前所在点的斜率的方向，就是最陡峭的方向。