凸优化之优化算法的一般步骤

优化算法的目的：寻找最优解

算法的运行形式：通过迭代的形式, 从一个初始点开始一步一步的接近最优解. 比如 $x^{k+1}=x^k-\alpha \nabla f\left(x^k\right)$, 表示点 $x^k$ 沿着负梯度方向移动 $\alpha$ 的距离(严格来说是 $\alpha \Vert \nabla f\left(x^k\right)\Vert$ 的距离)得到一个新的点 $x^{k+1}$, 使得新的点处的函数值比原来点的函数值要小，就达到了下降的目的. 一直这么迭代下去，就能找到最优解. 算法的核心：步长 $\text{step-size}$ 和下降方向 $\text{descent direction}$. 下降方向决定迭代点下一次更新的方向, 步长决定迭代点下一次行走的距离,. 步长和方向做为算法的核心, 决定了算法是否收敘、收敘速度如何等等. 在本节内容中, 我们假设下一次迭代的方向已知,现在只考虑如何找到最优步长. 而对于迭代方向的讨论在后面章节的内容中会有所说明.

步长的一般处理方法

因为不同的步长肯定会有不同的效果，比如步长很大，运气了可能一下子就到了最优解，但也有可能步长太大导致每次迭代总是跨过了最优解，甚至无法收敘. 很显然，步长不能设的特别大，但是也不能特别小，否则迭代速度就会很慢, 浪费时间. 因此, 一般我们会先固定好下降方向 $d^k$ 和当前迭代点 $x^k$, 把下一个迭代点 $x^{k+1}=x^k+\alpha d^k$ 视为 $\alpha$ 的函数, 去求解使得 $f_0\left(x^{k+1}\right)$ 的函数值最小的那个 $\alpha$ 做为最终的步长. 即
$${\alpha }^k=\arg \underset{\alpha ⩾0}{\min }{f}_0\left(x^k+\alpha d^k\right)$$
这就是所谓的精确线搜索$\text{exact line search}$的定义. (为什么叫线搜索? 是因为迭代点是定义域中的一个点, 而搜索时 $x^k+\alpha d^k$ 是从 $x^k$ 沿着 $d^k$ 方向发出的一条射线, 所以叫线搜索. )

黄金分割法|优选法|0.618法

找一个尽量大的数, 记为 ${\alpha }_{\max }$, 将 $\alpha$ 限制在 $\left(0,{\alpha }_{\max }\right]$ 内. 然后对区间做分割，截取
$0.382{\alpha }_{\max }$ 和 $0.618{\alpha }_{\max }$ 这两个对称点, 计算它们的函数值, 去掉函数值比较大的区域, 继续做分割，这样一直下去, 可以找打一个使得函数值充分小的步长 $\alpha$ ，充分小由人为指定. 特点: 自己确定一个 ${\alpha }_{\max }$, 自己确定终止条件.

$\text{Armijo Rule/Armijo}$ 线搜索

给定初值 $\alpha$, 速率 $\beta \in (0,1),\gamma \in (0,0.5]$ .
若 $f_0\left(x^k+\alpha d^k\right)>f_0\left(x^k\right)+\gamma \alpha \nabla f_0^T\left(x^k\right)d^k$, 令 $\alpha =\alpha \beta$, 否则就停止迭代.

如图, $\alpha =0$ 的点就是 $f_0\left(x^k\right)$ 的值, $g(x^k+\alpha d^k)=f_0\left(x^k\right)+\alpha \nabla f_0^T\left(x^k\right)d^k$ 则是那条蓝色的线, 过 $\left(0,f_0\left(x^k\right)\right)$ 点的一条切线, 实际上就是 $f_0\left(x^k+\alpha d^k\right)$ 在 $x^k$ 的一阶泰勒展开，这个时候更新 $\alpha =\alpha \beta$, 使得 $\alpha$ 值减小, 再用 $\gamma$ 调整一下斜率, 变成了红色的那条线. 因此, $\text{Armijo}$ 就是在给定 $\gamma ,\beta$ 之后, 去找红色线以下的所有 $\alpha \in [0,{\alpha }_{feasible}]$ 中的一个做为步长.

参考资料

• [1] Convex Optimization – Boyd and \nuandenberghe
• [2] 中科大-凸优化
• [2] 知乎-落日翻车-凸优化总结