梯度下降

梯度下降是用来求极小值的一种方法。
求极小值就好比下山，如何能以最快的速度下到山底：那就是沿着下降速度最快的一个方向下山，在数学中，这个方向就是函数的导数方向。

以线性回归问题的优化为例，来进一步理解梯度下降：
首先看线性回归的损失函数：

其中

这是要优化的目标，即在众多的（x，y）上求一套参数使得J的值最小。采用梯度下降的方法，来求J的最小值：
对J求偏导：

则参数的更新过程如下：

不断重复上述过程，直至J取得最小值。