梯度下降算法(Gradient Descent, GD)

1.线性回归

图中有很多点，横轴代表人口，数轴代表利润，现在我们想找到一条线，来线性拟合这些点的趋势，如下图所示：

如何用梯度下降的算法来求线性回归呢，在求解之前我们需要了解损失函数：

2.损失函数

前一个y代表的是预测值，也就是红线上的点，后一个y代表的是真实值，也就是蓝色的点，式子就是预测值与真实值之差的平方和再累加的结果，例如：

图中绿色圈出来的部分，在同一横坐标下，预测值对应的红线上的点，真实值是蓝色的点，它们之间有误差，多个点误差的平方再累加起来就是损失函数结果。
θ0代表的就是图中红色直线的截距，θ1代表的是红色直线的斜率。所以前一个y预测值就可以用这两个变量表示为：

当θ0，θ1为何值时，损失函数的值最小（通俗理解也就是误差最小）

3.梯度

图中z轴代表的是损失函数的值，我们要求损失函数最小，也就是求这个曲面上最低的点。那哪个方向最快到达谷底呢？这个方向就是梯度

4.梯度下降

在单个变量中，假如我们求一个二阶曲线的最小值，这个最小值处的斜率代表了在这个点的最快的下降，也就是求导；同理，在多个变量中，我们想求一个曲面的最小值的话，也就是求偏导，而这里的偏导就是梯度。
对损失函数求偏导：

5.梯度下降算法的过程

梯度代表的是最快的方向，学习率代表的是我们走的步长，因为要求最小值，如果是下山的话，也就是要下到谷底，所以应该是现在的值减去梯度与学习率的乘积才是下一个最快下山的点的位置。
当损失函数的上一个值与现值的差值小于某一个极小值比如0.00000001时，便退出循环。