【最优化】学习笔记 1【梯度方法】

【最优化】学习笔记 1

【梯度下降法】

目标函数 $f:{\mathbb{R}}^n\mapsto \mathbb{R}$
$minimize:f$
梯度：$\nabla f(x\text{x}x)=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_n})$
几何含义:梯度方向$-\nabla f(x\text{x}x)$是函数$f$在$x\text{x}x$处减少最快的方向
基本思想：从搜索点${x\text{x}x}^{(k)}$开始，以步长${\alpha \text{α}\alpha }_k$，沿着方向$-\nabla f({x\text{x}x}^{(k)})$搜索，不断减小$f$
（不断的往当前函数值下降最快的方向搜索，是局部最优的迭代）

迭代公式$${x\text{x}x}^{(k+1)}={x\text{x}x}^{(k)}-{\alpha \text{α}\alpha }_k\nabla f({x\text{x}x}^{(k)})$$
步长过大：计算次数少，但可能不收敛
步长过小：精度高稳定收敛，但计算量大

【最速下降法】

目标函数$$f(x\text{x}x)=\frac{1}{2}{x\text{x}x}^{T}Q\text{Q}Qx\text{x}x-{b\text{b}b}^{T}x\text{x}x$$

${\lambda }_{max}(Q\text{Q}Q)$、${\lambda }_{min}(Q\text{Q}Q)$分别为$Q\text{Q}Q$特征值中的最大值和最小值
在【梯度下降法】的基础上，确定步长${\alpha \text{α}\alpha }_k$选取的算法
$${\alpha \text{α}\alpha }_k=\underset{\alpha ⩾0}{\mathrm{argmin}}f({x\text{x}x}^{(k)}-\alpha \text{α}\alpha \nabla f({x\text{x}x}^{(k)}))$$

即 每次迭代中，选取合适步长，使得目标函数能够最大程度的减小

【相关结论】
1、相邻搜索方向$\nabla f({x\text{x}x}^{(k)})$与$\nabla f({x\text{x}x}^{(k+1)})$正交 ，$k\in N+$
2、迭代过程中，只要 $\nabla f({x\text{x}x}^{(k)})$不为 0，就有$f({x\text{x}x}^{(k+1)})<f({x\text{x}x}^{(k)})$（下降特性）

【主要缺陷】
对某些形式的目标函数，迭代路径不断在狭窄的谷底内来回往复，形成锯齿，效率较低

【固定步长】
若对于所有$k$，固定步长${\alpha \text{α}\alpha }_k=\alpha \text{α}\alpha \in \mathbb{R}$，要迭代收敛，当且仅当步长$$0<\alpha \text{α}\alpha <\frac{2}{{\lambda }_{max}(Q\text{Q}Q)}$$

【收敛率】
$$f({x\text{x}x}^{(k+1)})⩽(1-\frac{1}{r})f({x\text{x}x}^{(k)})$$

其中 $r=\frac{{\lambda }_{max}(Q)}{{\lambda }_{min}(Q)}$
几何意义： 以二元二次型函数为例，若等值线为圆，则 $r=0$，从任意起点开始迭代均可一步收敛；随着$r$增加，等值线变为椭圆，且离心率增加，在某些起点开始迭代，收敛速度显著降低
【收敛阶数】
已知序列 { x ( k ) } \{\pmb x^{(k)}\} {xxx(k)}将收敛到${x\text{x}x}^{\ast }$，如果$$||{x\text{x}x}^{(k+1)}-{x\text{x}x}^{\ast }||=O(||{x\text{x}x}^{(k)}-{x\text{x}x}^{\ast }|{|}^p)$$

则序列的收敛阶数（如果存在）至少为 $p$
如果$$||{x\text{x}x}^{(k+1)}-{x\text{x}x}^{\ast }||=o(||{x\text{x}x}^{(k)}-{x\text{x}x}^{\ast }|{|}^p)$$

则序列的收敛阶数（如果存在）一定大于 $p$
阶数越高，收敛率越高，收敛速度越快