梯度(Gradient)

最新推荐文章于 2024-07-11 01:00:00 发布
最新推荐文章于 2024-07-11 01:00:00 发布
阅读量1.5w 收藏 99
点赞数 12
分类专栏： 机器学习 文章标签： 梯度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Tonywu2018/article/details/83860848
版权

梯度是机器学习领域中一个非常常用且重要的一个数学概念，但是一直不是特别理解深层含义，于是查阅资料，对梯度进行一个总结说明。

我们在高数中都学过梯度的定义：

设函数f(x,y)在平面区域D内具有一阶连续偏导数，则对每一点P(x_{0},y_{0})\in D都可以定出一个向量f_{x}(x_{0},y_{0}) \vec{i} + f_{y}(x_{0},y_{0}) \vec{j}称为f(x,y)在P点处的梯度，记作\vec \triangledown f(x_{0},y_{0})。

从定义中我们可以得到以下信息：1、梯度是矢量     2、梯度的模与函数f(x,y)在点P(x_{0},y_{0})处的偏导数f_{x}(x_{0},y_{0}),f_{y}(x_{0},y_{0})有关。

不难想象，函数f(x,y)在几何空间中实际上对应的是三维空间(或者是三维平面或者是三维曲面)。那么我们就以三维曲面为例，对梯度进行说明总结。

首先我们看一幅图片

preview

假如我们在山顶，需要走到山谷的湖泊中，我们应该怎么走最快。这里，其实就涉及到了梯度的概念。

在高数课本中还有这么一个定理是这么说的：梯度的方向与取得最大方向导数的方向一致，模为方向导数的最大值。

那么，我们先来看看方向导数是什么样的存在。

什么是方向导数，方向导数就是函数f(x,y)(当然不一定是二元函数)在某点沿特定方向的变化率

xoy平面上的紫色箭头表示的是特定方向，这个方向是任意的，那么函数f(x,y)在这个方向上的图像如下图所示

                                     preview

函数f(x,y)在点A处特定方向上存在切线，此时这条红色的切线斜率就是点A处的方向导数

                                      preview

曲面上的A点投影到xoy面上的点有无数个方向，同样的A点也有无数个方向。

                                            preview

每个方向上都存在方向导数，而方向导数最大的方向就是梯度的方向，方向导数的最大值就是梯度的值。

preview

那么问题来了，方向导数有无数个，那么它一定会存在最大值吗，而且这个最大值是唯一的。我们回到梯度的定义，定义中说到函数f(x,y)在D内有一阶连续偏导数，高数中的知识：偏导连续必可微我们知道，函数f(x,y)是可微的，那么函数f(x,y)各个方向的切线是共面的，即这些方向上的切向组成了在点A处的切平面。                    preview

此处我们可以想象一下在一块平滑直立的玻璃上流下一滴水，这滴水的轨迹是唯一的，而且这滴水流下的方向就是玻璃上各点处的梯度的方向。所以最大方向导数是唯一的，梯度也是唯一的。

最后用吴恩达老师在Coursera上的一张图片

        

回到在山顶走到山谷湖泊的图片，沿着梯度的反方向(因为梯度表达的是增加最快的方向)就是最快到达山谷的方向。

梯度是机器学习深度学习中求解参数中非常关键的一个概念

                                                   

这是TensorFlow中的一张流图，可以看到，它就是根据梯度来训练模型的。此图来源于TensorFlow中文社区。

补充：

实际上对于一元函数也是存在梯度的，只不过梯度的方向只有沿x轴的正方向和反方向之分，其大小某点处的导数值。

参考文献：

1、如何直观形象的理解方向导数与梯度以及它们之间的关系？  https://www.zhihu.com/question/36301367

2、吴恩达coursera  https://www.coursera.org/lecture/machine-learning/welcome-to-machine-learning-zcAuT

 

Tonywu2018
关注
专栏目录
为什么梯度反方向是函数值下降最快的方向？
新博客地址：www.yizhen-blog.com 欢迎交流
01-22 1万+
刚接触梯度下降这个概念的时候，是在学习机器学习算法的时候，很多训练算法用的就是梯度下降，然后资料和老师们也说朝着梯度的反方向变动，函数值下降最快，但是究其原因的时候，很多人都表达不清楚。所以我整理出自己的理解，从方向导数这个角度把这个结论证明出来，让我们知其然也知其所以然~ 下面我一开始不提梯度的概念，完全根据自己的理解进行下文的梳理，一步一步推出梯度的来历： 导数 导数的几何意
梯度（gradient）
qq_15063463的博客
02-18 7136
https://blog.csdn.net/weixin_42018112/article/details/88079998 一般来说，梯度可以定义为一个函数的全部偏导数构成的向量(这一点与偏导数与方向导数不同，两者都为标量)。一般将函数f 的梯度记为∇f，即： 方向导数：给一个方向，出一个实数(函数/标量场沿该方向的变化率)。 梯度：给一个函数/标量场，出一个矢量场(方向为每点方向导数值最大的方向，大小为其变化率的矢量组成的矢量场)。 首先理解“梯度”和“方向导数”要先理解“导数”和“偏导数”..
直观理解 梯度（gradient）
热门推荐
Vic_Hao的博客
03-02 11万+
梯度 在机器学习中，我们通常需要对问题进行建模，然后可以得到一个成本函数(cost function)，通过对这个成本函数进行最小化，我们可以得到我们所需要的参数，从而得到具体的模型。这些优化问题中，只有少部分可以得到解析解(如最小二乘法)，而大部分这类优化问题只能迭代求解，而迭代求解中两种最常用的方法即梯度下降法与牛顿法。 梯度概念是建立在偏导数与方向导数概念基础上的。所谓偏导数，简单来说是对于...
一起来了解深度学习中的“梯度”
最新发布
一起来研究langchain和langchain-chatchat
07-11 1422
在深度学习的相关文章中一直提到两个词——梯度和梯度下降。在网上搜索这些词汇时，初学者常常会看到一堆公式和各种复杂的定义，可能会让人打退堂鼓。然而，理解梯度的概念对于掌握深度学习至关重要。今天，我们将用一个通俗易懂的比喻来解释深度学习中的梯度。通过这种方式，希望能帮助大家更轻松地理解这个重要概念，从而更加自信地迈向深度学习的世界。在深度学习中，梯度可以看作是一个指引我们如何调整模型参数（如权重和偏置）以最小化误差的指南针。梯度告诉我们，在当前参数值的情况下，误差朝哪个方向增大或减小，以及应该调整参数多少。
梯度
weixin_33922672的博客
11-21 204
函数 f ，输入的是一个 n 维向量 x = [x1,x2,...,xn]T，输出是一个标量。 函数 f 关于 x 的梯度就是一个 n 个偏导数组成的向量： 例如： 其中 x = [x1,x2,x3,x4]T，那么 y = 2(x1*x1+x2*x2+x3*x3+x4*x4)； 关于 x 的偏导数求得 [4x1,4x2,4x3,4x4]T，即 4X backward()自动...
梯度下降（Gradient Descent）小结
weixin_34221276的博客
10-17 3370
　　　　在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度 　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂y)...
在MATLAB中，梯度gradient计算方法的理解
qq_43272922的博客
08-17 1159
（2）中间第j列=(第j+1列-第j-1列)/2。（2）中间第i行=(第i+1行-第i-1行)/2。（3）第n列=第n列-第n-1列。（3）第m行=第m行-第m-1行。（1）第1列=第2列-第1列。（1）第1行=第2行-第1行。
深度学习pytorch- tensor, 基本运算与梯度gradient和backward
deep learning
08-30 1373
与numpy中的基本操作相似， pytorch 的作用是引入GPU加快运算， 增加图形界面， 适合大数据运算， 尤其是deep learning gradient 梯度类似于求导， 找到梯度下降的最佳路径。 tensor 除了可以进行线性代数运算， 还可以求梯度。 建立三个tensor: # Create tensors. import torch x = torch.tensor(3.) # 数字 w = torch.tensor(4., requires_grad=True) # 数字 b = to.
opencv形态学梯度gradient
weixin_42764391的博客
04-08 255
#膨胀与腐蚀的差 #结果看上去就像前景物体的轮廓 import cv2 import numpy as np img = cv2.imread('1.jpg',0) #用numpy生产卷积核 kernel = np.ones((5,5),np.uint8) gradient = cv2.morphologyEx(img, cv2.MORPH_GRADIENT, kernel) cv2.imsh...
为什么numpyq求梯度gradient·函数的时候只个一个参数，但是数学概率上求梯度是2个参数，dy对dx的梯度
04-29
在使用numpy中的gradient函数时，只需要传入一个参数，是因为该函数默认使用前向差分方法来计算梯度。前向差分方法只需要一个参数即可，即需要计算梯度的函数。该方法计算梯度时，只考虑了函数在当前点的取值和在...
什么是梯度？
mark_to_win的专栏
09-07 1341
在单变量的函数中，梯度可简单理解为只是导数。函数f的梯度方向是函数f的值增长最快的方向,最陡的方向，换句话说，在一个场中，函数在某一点处的梯度即为此点方向导数最大值。 更多请见：https://blog.csdn.net/qq_44639795/article/details/100592901 ...
函数的梯度
chen的博客
12-07 1562
函数的梯度表示了函数在某一点的最大变化率方向。梯度是一个向量，指向函数在给定点的最大增长方向。：对于多元函数，首先计算每个变量的偏导数。这些偏导数构成了梯度向量的每个分量。对于单变量函数，梯度就是导数。：梯度的方向是函数增长最快的方向。它指向函数值增加最快的方向。在二维情况下，梯度向量的方向是函数曲面上函数值增长最快的方向。在多维情况下，梯度向量指向函数值增长最快的方向。：函数在某一点的梯度方向是函数值增长最快的方向，而负梯度方向则是函数值减小最快的方向。总之，梯度指示了函数在某一点的最大变化方向。
高等数学——梯度
进阶的小宋
06-07 738
梯度（Gradient）
sxy201658506207的博客
07-28 307
什么是梯度
guanhuazhan的博客
07-01 4万+
机器学习/深度学习中，需要使用训练数据来最小化损失函数，从而确定参数的值。而最小化损失函数，即需要求得损失函数的极值。 求解函数极值时，需要用到导数。对于某个连续函数f(x)f(x)f(x)，令其一阶导数 f′(x)=0f'(x)=0f′(x)=0 ，通过求解该微分方程，便可直接获得极值点。但当变量很多或者函数很复杂时，f′(x)=0f'(x)=0f′(x)=0...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值