如何通俗地解释梯度下降法

置顶马同学图解数学

已于 2023-04-11 15:31:17 修改

阅读量3.1k

点赞数 14

分类专栏：人工智能文章标签：人工智能机器学习梯度下降

于 2022-05-31 10:13:46 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/ccnt_2012/article/details/125058975

版权

人工智能专栏收录该内容

23 篇文章 83 订阅

订阅专栏

如何通俗地解释梯度下降法

同学们大家好，今天我们来学习梯度下降法

1 简单印象

用一句话解释，梯度下降法就是快速找到最低点的一个方法。比如在山上有一个球，经过几次运动后，就会来到谷底附近。

要完成这个过程，我们需要回答三个问题。

方向首先是确定往哪个方向滚
距离然后确定滚多远
终止条件最后,附近的范围有多大,确定滚到哪里算结束

2 方向

假设有一蓝点在曲线上，要运动到最低点，这个过程大概是这样的

这是个一元函数，自变量有两个运动方向，一个朝左，一个朝右。

朝右边运动，越走越高，函数值在增加，这个方向被称为梯度方向。

朝左边运动，越走越低，函数值在减小，这个方向被称为梯度方向的反方向。显然，要走到最低处，我们应该选择梯度的反方向。

走了一次后，来到一个新的位置，这时我们需要又一次对方向进行判断，而同样的，这里的方向也有梯度方向，和梯度的反方向。

继续朝梯度的反方向移动,重复之前的逻辑，不断朝梯度反方向移动，运气好，我们就能走到最低点附近。

也就是说，要到最低点附近，我们需要朝着梯度的反方向运动。

方向 $方向=-\nabla f$

3 距离

刚刚说“运气好”，因为要达到目的，我们还要考虑，每一次走多远。因为这个要从计算结果中反应，所以这里给出一些具体数值。设 $f=x^2$ ，起始点为 $10$ 这个位置

这样

$\nabla f =2x,x_0=10$

根据前面讲的，下一个移动的位置在梯度的反方向,那么

$x_1=x_0-\nabla f(x_0)=-10$

也就是第一次移动，移动到了 $-10$ 的位置

第二次移动,也是梯度的反方向

$x_2=x_1-\nabla f(x_1)=10$

计算后得到，这一次移动到了 $10$ 这个位置

同样的方法，计算出 $x_3,x_4$

$x_3=x_2-\nabla f(x_2)=-10$

$x_4=x_3-\nabla f(x_3)=10$

可以看到，虽然一直在移动，但始终在 $10$ 和 $-10$ 点振荡，没有降到最低点。

为此，我们需要一个参数来控制移动的距离,这个参数被称为学习率。

3.1 学习率

将用 $\eta$ 来表示,则迭代的式子可以表示为

显然，刚刚来回振荡时， $\eta$ 为1

如果将学习率继续调大，比如调大到 $1.05$ ，多次迭代后，不仅不会降到最低点，甚至还会越走越高

而如果将学习率调低到一个较小值，比如 $0.02$ 。这时，每次迭代后，位置确实是在降低，但降低的幅度比较小，迭代很多次都没到达谷底附近。

而如果将学习率调为 $0.2$ ,迭代10次后，基本就能降到谷底了。

从这里，我们也看出了，要完成梯度下降，需要选择合适的学习率

距离需要用学习率 $\eta$ 控制

4 终止条件

最后，我们来看看终止条件，为此首先计算出 $\eta=0.2$ 时，每次迭代后的梯度值

可以看到，每次迭代后，梯度值都在不断的下降。这也是将这个方法，命名为梯度下降的原因。而我们知道梯度为0时的位置，就是最低点的位置，因此选择较小的梯度值作为终止条件是比较自然的。

比如，我们希望最后的梯度值小于等于 $0.01$ ，那么就只要迭代 $15$ 次

$x_{15}=0.005,||\nabla f(x_{15})||=0.01$

小于等于 $0.001$ ，就需要迭代19次

$x_{19}=0.0006,||\nabla f(x_{19})||=0.001$

只要学习率选择的合适，梯度就可以下降到任意小。这是有理论支撑的，关于这个的证明，感兴趣的同学可以查看我们的课程里的证明。有了这个理论保证，我们就可以选择梯度值当做终止条件了。

终止条件为 $终止条件为||\nabla f||$

5 完整例子

三个问题都解答完了，最后我们来看个例子。设函数 $f=x^2+2y^2$ ,起始位置 $(x_0,y_0)=(-3.5,-3.5)$ ,在图中用红点表示。

选取学习率为 $0.1$ ,则第一次迭代后的位置

$(x_1,y_1)=(x_{0},y_{0})-\eta\times\nabla f((x_{0},y_{0})=(-2.8,-2.1)$

根据迭代公式

$(x_{k+1},y_{k+1})=(x_{k},y_{k})-\eta\times\nabla f((x_{k},y_{k})$

可以计算出每次迭代后的位置

将终止条件设为梯度值小于等于 $0.01$ ,则迭代到第16次时

$||\nabla f(x_{16},y_{16})||=0.099$

小于0.01,任务完成

跟着马同学，看图学数学，欢迎加入学习：

首页-马同学图解数学-淘宝网淘宝, 店铺, 旺铺, 马同学图解数学https://matongxue.taobao.com/

马同学图解数学

关注

14
点赞
踩
42

收藏

觉得还不错? 一键收藏
打赏
3
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论 3

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

马同学图解数学 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。