为什么梯度方向是函数值增大最快的方向

Welcome To My Blog
梯度下降中,梯度反方向是函数值下降最快的方向,说明梯度方向是函数值上升最快的方向.
下面给出说明,基础好的可以直接看最后一部分:沿梯度方向函数值增大最快

无穷小量

定理

高阶无穷小

引出微分

微分

全微分

方向导数

定义:

方向导数实际上是函数f在x_0处沿l方向关于距离t的变化率
方向导数的几何意义,f(x,y)在x_0处有唯一的切线,该点关于l方向的斜率就是方向导数.
在方向导数中,一种特别重要的情形是沿着坐标轴正向的方向导数,这就是偏导数

偏导数

定义:

梯度

定义:

梯度就是个向量

可微的必要条件

沿梯度方向函数值增大最快

在x0处沿某一方向的方向导数反映了:在x0的邻域内沿着这个方向,函数值能增大多少或者能减小多少
将上述f在(x0,y0)处沿任意方向l的方向导数结果写成向量的内积形式

所以在x0处沿着梯度方向能使f在该点处的方向导数最大,也就是在x0的邻域内沿着这个方向,函数值增长最快;同理沿着负梯度方向,函数值减小最快

参考:
王绵森,工科数学分析基础上下册

转自: https://blog.csdn.net/littlehaes/article/details/79767107