数值优化——梯度下降法
注:个人笔记,图片来源深蓝数值优化课程
无约束优化问题
一个无约束优化问题可以记为:
min f ( x ) x = ( x 1 , … , x n ) ∈ R n f : R n ↦ R \min{f(x)}\\\begin{aligned}&x=\left(x_1,\dots,x_n \right)\in\mathbb{R}^n\\&f:\mathbb{R}^n\mapsto\mathbb{R}\end{aligned} minf(x)x=(x1,…,xn)∈Rnf:Rn↦R
线搜索梯度下降法
迭代公式: x k + 1 = x k − τ ∇ f ( x k ) x^{k+1}=x^{k}-\tau\nabla f(x^k) xk+1=xk−τ∇f(xk)
我们也可以写成下降方向+步长的形式: