为什么梯度反方向是函数值局部下降最快的方向?

转载 2018年04月17日 10:11:25
https://zhuanlan.zhihu.com/p/24913912

为什么梯度反方向是函数值下降最快的方向?

刚接触梯度下降这个概念的时候,是在学习机器学习算法的时候,很多训练算法用的就是梯度下降,然后资料和老师们也说朝着梯度的反方向变动,函数值下降最快,但是究其原因的时候,很多人都表达不清楚。所以我整理出自...
  • yizhen_acmer
  • yizhen_acmer
  • 2017-01-22 20:57:18
  • 3352

为什么梯度方向是函数值增长最快而不是下降最快的方向?

举例最简单: 如果函数f(x,y) = -x^2-y^2;  那么该函数的梯度为 G(x,y) = -2x-2y ;  G(1,1) = (-2,-2); 那么(1,1)的下一个点...
  • lttingjj
  • lttingjj
  • 2015-01-20 16:14:20
  • 2946

【直观理解】为什么梯度的负方向是局部下降最快的方向?

推荐阅读时间:8min~15min主要内容:为什么梯度的负方向是局部下降最快的方向?刚接触梯度下降这个概念的时候,是在学习机器学习算法的时候,很多训练算法用的就是梯度下降,然后资料和老师们也说朝着梯度...
  • UFv59to8
  • UFv59to8
  • 2018-01-28 00:00:00
  • 571

为什么沿着梯度方向函数值上升的最快?

一元函数的变化快慢可以用导数来判断,其定义为: limΔx→0f(x+Δx)−f(x)Δx=f′(x)⇒f(x+Δx)=f(x)+f′(x)Δx+ο(x) \lim_{\Delta x \to 0...
  • Mr0cheng
  • Mr0cheng
  • 2017-12-31 10:17:22
  • 471

为什么梯度方向是函数值增大最快的方向

Welcome To My Blog 梯度下降中,梯度反方向是函数值下降最快的方向,说明梯度方向是函数值上升最快的方向. 下面给出说明,基础好的可以直接看最后一部分:沿梯度方向函数值增大最快 ...
  • littlehaes
  • littlehaes
  • 2018-03-31 11:11:28
  • 64

在梯度下降法中,为什么梯度的负方向是函数下降最快的方向?

1.问题描述 第一次接触这个问题是在大一暑假的小学期项目上,我们组的课题是一个优化问题,其中一个小问题就是证明为什么梯度的负方向是函数下降的最快方向。(全程用法语写的论文233)当时没有多大感触,后...
  • llwleon
  • llwleon
  • 2018-02-02 11:30:30
  • 724

梯度反方向是函数值局部下降最快的方向

很多机器学习的训练算法都是利用梯度下降,朝着梯度的反方向变动,函数值下降最快。导数导数可以表示函数曲线上的切线斜率。 除了切线的斜率,导数还表示函数在该点的变化率。导数代表了在自变量变化趋于无穷小的时...
  • u013102349
  • u013102349
  • 2018-03-06 18:56:09
  • 50

梯度下降法和梯度的关系

关于梯度下降法不做解释,网上有很多讲解。 这里只讨论梯度下降法和梯度之间的关系,先让我们了解一下导数、偏导数、方向导数、和梯度的概念。导数:定义就不讲了,含义:一元函数在某一点的导数描述了这个函数在...
  • FaaronZheng
  • FaaronZheng
  • 2016-09-27 16:36:04
  • 755

数学之美---为什么梯度反方向是函数值局部下降最快的方向?

刚接触梯度下降这个概念的时候,是在学习机器学习算法的时候,很多训练算法用的就是梯度下降,然后资料和老师们也说朝着梯度的反方向变动,函数值下降最快,但是究其原因的时候,很多人都表达不清楚。所以我整理出自...
  • qq_38906523
  • qq_38906523
  • 2018-04-06 16:35:40
  • 81

梯度下降方法的一些理解

以前学习machine learning,在regression这一节,对求解最优化问题的梯度下降方法,理解总是处于字面意义上的生吞活剥。对梯度的概念感觉费解?究竟是标量还是矢量?为什么沿着负梯度方向...
  • liuheng0111
  • liuheng0111
  • 2016-09-13 01:29:42
  • 816
收藏助手
不良信息举报
您举报文章:为什么梯度反方向是函数值局部下降最快的方向?
举报原因:
原因补充:

(最多只允许输入30个字)