为什么梯度是上升方向,梯度下降要取负?

讨论

  这个问题是很容易忽略,也就一个负号的问题,大多是记下来,但是确实也一个搞不懂的问题。

方向导数

在这里插入图片描述
简单说明方向导数,毕竟梯度与方向导数是有关系的。
  上图 l l l x x x, y y y的偏导,分别在 x x x y y y的方向上,两偏导线垂直映射到绿色线方向上,再求和就是绿色线向量长度;
   θ = 0 θ=0 θ=0时,也就是绿色线和灰色线重合,也就是梯度方向上的最大方向导数。

梯度方向为何是上升方向

在这里插入图片描述
这个示例函数是 f ( x ) = ( x − 2 ) 2 + 2 f(x)=(x-2)^2+2 f(x)=(x2)2+2
在(1,3)位置的梯度为-2<0,梯度方向为x轴的负方向,上升
在(3,3)位置的梯度为2>0,梯度方向为x轴正方向,上升

推导:
f ( x ) f(x) f(x)有一阶导:
f ( x + Δ x ) − f ( x ) Δ x ≈ f ′ ( x ) \frac{f(x+\Delta x)-f(x)}{\Delta x}\approx f'(x) Δxf(x+Δx)f(x)f(x)

  • 如 果 f ′ ( x ) > 0 , 在 Δ x 邻 域 半 径 内 单 调 上 升 , 梯 度 方 向 取 x 的 正 方 向 , 函 数 梯 度 上 升 如果f'(x)>0,在\Delta x邻域半径内单调上升,梯度方向取x的正方向,函数梯度上升 f(x)>0,Δx,x

  • 如 果 f ′ ( x ) < 0 , 在 Δ x 邻 域 半 径 内 单 调 下 降 , 梯 度 方 向 取 x 的 负 方 向 , 函 数 梯 度 上 升 如果f'(x)<0,在\Delta x邻域半径内单调下降,梯度方向取x的负方向,函数梯度上升 f(x)<0,Δx,x

注意,函数可以扩展到多维,所以梯度下降取负。

  • 10
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值