机器学习入门：梯度下降算法(上)

小言从不摸鱼

已于 2024-08-19 11:39:21 修改

阅读量817

点赞数 31

分类专栏：机器学习文章标签：机器学习算法人工智能 python

于 2024-08-19 11:35:36 首次发布

本文链接：https://blog.csdn.net/2301_76820214/article/details/141298886

版权

机器学习专栏收录该内容

22 篇文章 5 订阅

订阅专栏

🍔 梯度下降(Gradient Descent)

1.1 什么是梯度下降🍭

梯度下降法的基本思想可以类比为一个下山的过程。

假设这样一个场景：

一个人 被困在山上，需要从山上下来 (i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。

因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。

具体来说就是，以他当前的所处的位置为基准，寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走，（同理，如果我们的目标是上山，也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走）。然后每走一段距离，都反复采用同一个方法，最后就能成功的抵达山谷。

梯度下降的基本过程就和下山的场景很类似。

首先，我们有一个 可微分的函数 。这个函数就代表着一座山。

我们的目标就是找到 这个函数的最小值 ，也就是山底。

根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是 找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数值变化最快的方向。所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向，也就是场景中测量方向的手段。

1.2 梯度的概念🍭

梯度是微积分中一个很重要的概念

在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率；
在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向；
- 在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。

这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的反方向一直走，就能走到局部的最低点！

1.3 梯度下降举例🍭

单变量函数的梯度下降

我们假设有一个单变量的函数 :J(\theta) = \theta^2

函数的微分：J^\prime(\theta) = 2\theta

初始化起点为：\theta^0 = 1

学习率：\alpha = 0.4

我们开始进行梯度下降的迭代计算过程:

如图，经过四次的运算，也就是走了四步，基本就抵达了函数的最低点，也就是山底

多变量函数的梯度下降

我们假设有一个目标函数：J(\theta) = \theta{1}^{2} + \theta{2}^{2}

现在要通过梯度下降法计算这个函数的最小值。我们通过观察就能发现最小值其实就是 (0，0)点。但是接下来，我们会从梯度下降算法开始一步步计算到这个最小值! 我们假设初始的起点为： \theta^{0} = (1, 3)

初始的学习率为：\alpha = 0.1

函数的梯度为：\Delta J(\theta) =< 2\theta{1} ,2\theta{2}>

进行多次迭代：

我们发现，已经基本靠近函数的最小值点

1.4 梯度下降（Gradient Descent）公式🍭

1) alpha是什么含义？

alpha在梯度下降算法中被称作为 学习率 或者步长，意味着我们可以通过α来控制每一步走的距离，控制参数不要走太快，错过了使损失函数取最小值的点。同时也要保证不要走的太慢，导致太阳下山了，还没有走到山下。所以α的选择在梯度下降法中往往是很重要的！α不能太大也不能太小，太小的话，可能导致迟迟走不到最低点，太大的话，会导致错过最低点！

2) 为什么梯度要乘以一个负号？

梯度前加一个负号，就意味着朝着梯度相反的方向前进！我们在前文提到，梯度的方向实际就是函数在此点上升最快的方向！而我们需要朝着下降最快的方向走，自然就是负的梯度的方向，所以此处需要加上负号

我们通过两个图更好理解梯度下降的过程

所以有了梯度下降这样一个优化算法，回归就有了"自动学习"的能力

优化动态图演示

🍔 梯度下降优化原理

2.1梯度下降的相关概念复习🍭

在详细了解梯度下降的算法之前，我们先复习相关的一些概念。

步长(Learning rate)：

步长决定了在梯度下降迭代的过程中，每一步沿梯度负方向前进的长度。 用前面下山的例子，步长就是在当前这一步所在位置沿着最陡峭最易下山的位置走的那一步的长度。

特征(feature)：

指的是样本中输入部分，比如2个单特征的样本(x^{(0)},y^{(0)}),(x^{(1)},y^{(1)}),则第一个样本特征为x^{(0)}，第一个样本输出为y^{(0)}。

假设函数(hypothesis function)：

在监督学习中，为了拟合输入样本，而使用的假设函数，记为h_\theta (x)。 比如对于单个特征的m个样本(x^{(i)},y^{(i)})(i=1,2,...m),可以采用拟合函数如下： h_\theta (x)=\theta _0+\theta _1x。

损失函数(loss function)：

为了评估模型拟合的好坏， 通常用损失函数来度量拟合的程度。 损失函数极小化，意味着拟合程度最好，对应的模型参数即为最优参数。
在线性回归中，损失函数通常为样本输出和假设函数的差取平方。比如对于m个样本(x_i,y_i)(i=1,2,...m)，采用线性回归，损失函数为：

其中x_i表示第i个样本特征，y_i表示第i个样本对应的输出，h_\theta (x_i)为假设函数。

2.2 梯度下降法的推导流程🍭

1) 先决条件：确认优化模型的假设函数和损失函数。

比如对于线性回归，假设函数表示为 h_\theta (x_1,x_2,...,x_n)=\theta _0+\theta _1x_1+...+\theta _nx_n, 其中\theta _i (i = 0,1,2... n)为模型参数，x_i (i = 0,1,2... n)为每个样本的n个特征值。这个表示可以简化，我们增加一个特征x_0=1 ，这样