本文介绍了最速下降法和牛顿法在无约束优化中的应用，包括它们的基本原理、迭代公式、收敛性以及可能遇到的问题，如条件数影响收敛速度和修正牛顿法处理非正定矩阵的方法。
上一篇
最速下降法
考虑无约束问题 m i n f ( x ) , x ∈ R n min f(x), x\in R^n minf(x),x∈Rn, 其中 f ( x ) f(x) f(x) 具有一阶连续偏导数（梯度下降法）
策略：从某一点出发，选择一个目标函数值下降最快的方向，沿此方向搜索以期尽快达到极小点。
下降方向：负梯度方向是最速下降方向
d = − ▽ f ( x ) ∣ ∣ ▽ f ( x ) ∣ ∣ d = -\frac{\bigtriangledown f(x)}{||\bigtriangledown f(x)||} d=−∣∣▽f(x)∣∣▽f(x)
注： 在不同的尺度下最速下降方向是不同的
最速下降法的迭代公式：
x k + 1 = x k + λ k d k x_{k + 1} = x_{k} + \lambda_k d_{k} xk+1=xk+λkdk
- d k d_{k} dk 为搜索方向为 − ▽ f ( x k ) - \bigtriangledown f(x_{k}) −▽f(xk)
- λ k \lambda_k λk为一维搜索步长，满足 f ( x k + λ k d k ) = min λ ≥ 0 f ( x k + λ d k ) f(x_k + \lambda_k d_k) = \min\limits_{\lambda \geq 0} f(x_k + \lambda d_k) f(xk+λkdk)=λ≥0minf(xk+λdk)
算法步骤：
- 给定初始点 x k ∈ E n x_k \in E^n xk∈En, 允许误差 ϵ > 0 , k = 1 \epsilon > 0, k = 1 ϵ>0,k=1
- 计算搜索方向 d = − ▽ f ( x k ) d = - \bigtriangledown f(x_k) d=−▽f(xk)
- 若 ∣ ∣ d k ∣ ∣ ≤ ϵ ||d_k|| \leq \epsilon ∣∣dk∣∣≤ϵ, 停止， 从 x k x_k xk 出发，沿 d k d_k dk 进行一维搜索， 求 λ k \lambda_k λk, 使得 f ( x k + λ k d k ) = min λ k ≥ 0 f ( x k + λ d
最低0.47元/天 解锁文章
扫一扫
1053
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
