凸优化学习-（二十三）算法基础知识

凸优化学习

所有的算法实质上都是在解KKT条件，这部分内容是学习算法之前需要掌握的一些东西。

学习笔记

一、引

所有的算法都是迭代算法，形如：
$$\begin{array}{rl}{x}^{k+1}& =x^k+{\alpha }^k{d}^k\\ {\alpha }^k& =\arg \underset{\alpha \ge 0}{\min }{f}_0(x^k+\alpha d^k)\end{array}$$
其中，$x^k$为我们当前得到的可行解，${\alpha }^k$为我们为了得到下一步可行解所需要的步长（deep learning里面的learning rate），$d^k$为方向。
方向的求解之后会有许多方法来讨论，我们先看一下步长的求解，之后所有方法中步长的求解都是依据于此的。

二、解步长的方法

1.黄金分割法（优选法）（精确步长）

做法是，在选定${\alpha }_{max}$的情况下，比较$0.382{\alpha }_{max}$和$0.618{\alpha }_{max}$对应的$f_0(x^k)$的值的大小，如果前者大，就丢掉左边一块在右边迭代寻找；反之亦然，直到寻找到下降最快的（最小的）$f_0(x^k)$。

2.Amijo Rule（不精确步长）

找一个较小的步长，使得函数值有所下降就可以了。
过程：

$若f_0(x^k+\alpha d^k)>f_0(x^k)+\gamma \alpha \nabla f_0^T(x^k)d^k$
$则\alpha \leftarrow \alpha \beta$
$否则停止$
其中$\beta \in (0,1),\gamma \in (0,0.5)，\gamma$用于刻画下降显著程度（一般取0.5）。
意思是若满足这个不等式，则以$\beta$的速率下降$\alpha$。

大体意思是在$f_0(x^k)$这一点做直线$f_0(x^k)+\alpha \nabla f_0(x^k)d^k$，使用$\gamma$调整斜率。然后从${\alpha }_{max}$开始下降，下降到符合条件的区域就停止，所得$\alpha$即为步长。
可以看到，这个步长并不是精确的使函数在当前方向下降最多的步长，而仅仅是使其能够下降。

三、最优性条件分析

1、刻画函数凸性的两个矩阵

在凸函数的二阶条件中：
$${\nabla }^{2}f(x)\ge 0$$
为了刻画它的凸性，我们称具有强凸性的凸函数有如下：
$$\exists \text{m}{\nabla }^{2}f(x)\ge \text{mI}$$
就是避免出现一些虽然是凸函数，但是最优值非唯一且连续的函数（平底锅）。
相应的，也有：
$$\exists \text{m},\exists \text{M}\text{MI}\ge {\nabla }^{2}f(x)\ge \text{mI}$$
让它不那么凸。
在一阶条件下，强凸性可以表现为：
$$f(y)\ge f(x)+\nabla f^T(x)(y-x)+\frac{1}{2}\text{m}\Vert y-x{\Vert }_2^2①$$

2、探究当$\nabla f(x)\to 0$时，$f(x)$离$f(x^{\ast })$还有多远

当$x$给定，有：
$$f(x)+\nabla f^T(x)(y-x)+\frac{1}{2}\text{m}\Vert y-x{\Vert }_2^2②$$

这是一个关于$y$的凸函数，我们可以通过求一阶偏导的方式求出它的最小值，求出之后，有：
$$f(x)+\nabla f^T(x)(y-x)+\frac{1}{2}\text{m}\Vert y-x{\Vert }_2^2\ge f(x)-\frac{1}{2\text{m}}\Vert \nabla f(x){\Vert }_2^2③$$
结合①②③式有：
$$f(y)\ge f(x)-\frac{1}{2\text{m}}\Vert \nabla f(x){\Vert }_2^2④$$
④式对于任何$y$都满足，令④式中的$y$为$x^{\ast }$，有：
$$\begin{array}{rlrl}& & p^{\ast }& \ge f(x)-\frac{1}{2\text{m}}\Vert \nabla f(x){\Vert }_2^2\\ \Rightarrow & & f(x)-p^{\ast }& \le \frac{1}{2\text{m}}\Vert \nabla f(x){\Vert }_2^2\\ \Rightarrow & & \Vert f(x)-p^{\ast }{\Vert }_2& \le \frac{1}{2\text{m}}\Vert \nabla f(x){\Vert }_2^2\end{array}$$
现在当给出一个梯度值，我们就可以知道$f(x)$离$f(x^{\ast })$还有多远。

2、探究当$\nabla f(x)\to 0$时，$x$离$x^{\ast }$还有多远

由①式经柯西施瓦茨不等式得：
$$\begin{array}{rlrl}& & f(x)& \ge f(x)+\Vert \nabla f(x){\Vert }_2\Vert x-x^{\ast }{\Vert }_2+\frac{\text{m}}{2}\Vert x-x^{\ast }{\Vert }_2\\ \iff & & \Vert x^{\ast }-x{\Vert }_2& \le \frac{2}{\text{m}}\Vert \nabla f(x){\Vert }_2\end{array}$$
现在当给出一个梯度值，我们就可以知道$x$离$x^{\ast }$还有多远。

个人思考

以上两个不等式说明了当我们得到的解不够精确时，我们的损失有多大，在实际问题中经常会出现求不到精确解的情况，这时我们就要掂量一下我们能接受的损失是多少，继续优化的成本和收益是多少，再决定下一步的动作。

纸质笔记