一、梯度下降的目的:
快速地找到能使成本函数 的值最小(极小)的
的值,即快速找到一个局部极小值。
以此训练出拟合程度更高的线性回归模型或者其它模型。
※ 梯度下降算法不仅仅适用于线性回归模型,它同时也适用很多其它的模型以及其它带有多个参数的模型。
二、梯度下降算法的实现:
:学习率
· 它所做的是控制每次向下查找 极小值的步幅。
· 如果 特别大,那么梯度下降得更快,反之就越小。
通过不断重复这个算法直到算法收敛,即可达到局部最小值。
※ 注意,不要错误地写错算法顺序! 的值应该是同步更新的,不能先更新完了其中一个的值,再去拿这个已经更新过的参数去对另一个进行更新!这也是为什么用
临时存储
的值的缘故。
三、参数值的更新原理:
对于每次找到的点 ,如果函数在这一点是单调递增(
在这一点随自变量增大而增大,减小而减小)的,那么偏导数为正数,再乘以学习率
,就是我们每次要下降的“梯度”。
让 减去这个值,这就使得这个点向着使
变小的方向移动。
而随着这一过程不断进行,偏导数会越来越小,使得每次下降的步幅越来越小,最终找到局部最小值。
因此重复这一过程,不断更新参数,就能够找到使函数值最小的那个极小值点了。
四、学习率
· 学习率设置过小:算法执行次数过多,实现速度太慢。
· 学习率设置过大: 的值更新幅度过大,找不到最低点,且可能在最小值左右不断摇摆,永远到达不了最小值——算法可能无法收敛,而是发散。
五、构建具有梯度下降的线性回归模型
特别的,将线性回归模型的成本函数 代入到梯度下降算法中求偏导,得到以下公式:
在线性回归模型中,我们将对所有的训练数据进行梯度下降处理,而不仅仅是训练数据的一个子集。这也称之为“Batch gradient descent”,即批量梯度下降。
当然,还有其它版本的梯度下降不会查看整个训练集,而是在每个更新步骤查看训练数据的较小子集。