【机器学习】004_线性回归模型Part.3_梯度下降算法

一、梯度下降的目的：

快速地找到能使成本函数  的值最小（极小）的  的值，即快速找到一个局部极小值。

以此训练出拟合程度更高的线性回归模型或者其它模型。

※ 梯度下降算法不仅仅适用于线性回归模型，它同时也适用很多其它的模型以及其它带有多个参数的模型。

二、梯度下降算法的实现：

 ：学习率

· 它所做的是控制每次向下查找  极小值的步幅。

· 如果  特别大，那么梯度下降得更快，反之就越小。

通过不断重复这个算法直到算法收敛，即可达到局部最小值。

※ 注意，不要错误地写错算法顺序！ 的值应该是同步更新的，不能先更新完了其中一个的值，再去拿这个已经更新过的参数去对另一个进行更新！这也是为什么用  临时存储  的值的缘故。

三、参数值的更新原理：

对于每次找到的点 ，如果函数在这一点是单调递增（ 在这一点随自变量增大而增大，减小而减小）的，那么偏导数为正数，再乘以学习率 ，就是我们每次要下降的“梯度”。

让  减去这个值，这就使得这个点向着使  变小的方向移动。

而随着这一过程不断进行，偏导数会越来越小，使得每次下降的步幅越来越小，最终找到局部最小值。

因此重复这一过程，不断更新参数，就能够找到使函数值最小的那个极小值点了。

四、学习率

· 学习率设置过小：算法执行次数过多，实现速度太慢。

· 学习率设置过大： 的值更新幅度过大，找不到最低点，且可能在最小值左右不断摇摆，永远到达不了最小值——算法可能无法收敛，而是发散。

五、构建具有梯度下降的线性回归模型

特别的，将线性回归模型的成本函数  代入到梯度下降算法中求偏导，得到以下公式：

在线性回归模型中，我们将对所有的训练数据进行梯度下降处理，而不仅仅是训练数据的一个子集。这也称之为“Batch gradient descent”，即批量梯度下降。

当然，还有其它版本的梯度下降不会查看整个训练集，而是在每个更新步骤查看训练数据的较小子集。