这篇博客深入探讨了最优化中的梯度下降法，包括其线性收敛性质。通过精确线搜索和非精确线搜索（如Amijo Rule）分析算法的收敛性，阐述了在不同搜索策略下如何影响优化过程的效率和精度。内容涵盖了二次型矩阵条件和优化算法的理论基础。
全部笔记的汇总贴：最优化学习目录
梯度下降法
d k + 1 = − ∇ f ( x k ) d^{k+1}=-\nabla f\left(x^{k}\right) dk+1=−∇f(xk) f ( x k + 1 ) − P ∗ f ( x k ) − P ∗ ≤ 1 − m M \frac{f\left(x^{k+1}\right)-P^{*}}{f\left(x^{k}\right)-P^{*}} \leq 1-\frac{m}{M} f(xk)−P∗f(xk+1)−P∗≤1−Mm ≤ 1 − min { 2 m γ α max , 2 m γ β M } \leq 1-\min \left\{2 m \gamma \alpha_{\max }, \frac{2 m \gamma \beta}{M}\right\} ≤1−min{2mγαmax,M2mγβ} K ∼ log ( f ( x k ) − P ∗ ) 线 性 收 敛 K \sim \log \left(f\left(x^{k}\right)-P^{*}\right) \quad线性收敛 K∼log(f(xk)−P∗)线性收敛
分析算法收敛性 - 精确线搜索exact line search
∀
x
∈
d
o
m
f
,
M
I
⪰
∇
2
f
(
x
)
⪰
m
I
\forall x \in d o m f, M I \succeq \nabla^{2} f(x) \succeq m I
∀x∈domf,MI⪰∇2f(x)⪰mI
分析算法收敛性 - 非精确线搜索Inexact line search(Amijo Rule)
扫一扫
2496
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
