本文探讨最速下降法，解释为何负梯度方向为下降方向，以及单位负梯度作为最速下降方向的原因。通过数学证明，阐述了沿着负梯度方向迭代能导致函数值最快减少的原理。
文章目录
算法
注意
- 先确定搜索方向：负梯度方向；
- 然后确定步长：步长 λ \lambda λ选择的是关于 λ \lambda λ的一元函数 f ( x k + λ d k ) f(x_k+\lambda d_k) f(xk+λdk)的最优解。
原理介绍：为什么负梯度方向是下降方向
证明：
f f f在点 x x x沿方向 d d d的导数为 f ′ ( x ; d ) = lim λ → 0 + f ( x + λ d ) − f ( x ) λ f'(x;d)=\lim\limits_{\lambda\rightarrow0^+}\frac{f(x+\lambda d)-f(x)}{\lambda} f′(x;d)=λ→0+limλf(x+λd)−f(x)
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
