凸优化（读书笔记）：无约束优化

最新推荐文章于 2022-06-12 20:34:49 发布

fiona_9508

最新推荐文章于 2022-06-12 20:34:49 发布

阅读量423

点赞数

本文链接：https://blog.csdn.net/fiona_9508/article/details/106418723

版权

无条件最优化问题的求解方法

1.无约束优化问题

min f(x) (1)

其中 $f: R^{n}\rightarrow R$ 是二次可微凸函数（意味着 dom f 是开集）。 $p^{*}$ 表示最优值 $inf_{x} f(x)=f(x^{*})$ 。

最优点 $x^{*}$ 应该满足下述充要条件

$\bigtriangledown f(x^{*})=0$ (2)

因此求解无约束最优化问题（1）等价于求解个变量的个方程（2），但是一般情况下必须采用迭代算法求解（2），即计算点列 $x^{(0)},x^{(1)},\cdots ,x^{(n)}\in dom f$ 使得 $k\rightarrow \infty$ 时 $f(x^(k))\rightarrow p^{*}$ ，当 $f(x^{*})-p^{*}\leq \varepsilon$ 时算法终止。

2.强凸性

假设目标函数在上是强凸的，这是指存在 m>0 ，使得

$\triangledown ^{2}f(x)\geq mI$ (3)

对于 $x,y\in S$ ，我们有

$f(y)=f(x)+\triangledown f(x)^{T}(y-x)+\frac{1}{2}(y-x)^{T}\triangledown ^{2}f(x)(y-x)$

$f(y)\geq f(x)+\bigtriangledown f(x)^{T}(y-x)+\frac{m}{2}\left \| y-x \right \|_{2}^{2}$

对两边就极值， $\frac{m}{2}\left \| y-x \right \|_{2}^{2}$ 是凸函数，其最优解为 $\widetilde{y}=x-\frac{1}{m}\bigtriangledown f(x)$ ,则有

$f(y)\geq f(x)+\bigtriangledown f(x)^{T}(y-x)+\frac{m}{2}\left \| y-x \right \|_{2}^{2}$

$\geq f(x)+\bigtriangledown f(x)^{T}(\widetilde{y}-x)+\frac{m}{2}\left \| \widetilde{y}-x \right \|_{2}^{2}$

$=f(x)-\frac{1}{2m}\left \| \bigtriangledown f(x) \right \|_{2}^{2}$

由于该不等式对所有 $y \in S$ 成立，所以有

$f(x)-p^{*}\leq \frac{1}{2m}\left \| \bigtriangledown f(x) \right \|_{2}^{2}$

因此可以看出任何梯度足够小都可以近似最优解。即令 $\varepsilon$ 足够小， $\left \| \bigtriangledown f(x) \right \| _{2}\in (-\varepsilon ,+\varepsilon )$ 都是近似最优解。

对于和任意最优解 $x^{*}$ 之间的距离 $\left \| x-x^{*} \right \|_{2}$ ,也可以建立正比于 $\left \| \bigtriangledown f(x) \right \|_{2}的下界$ 的上界，

$\left \| x-x^{*} \right \|_{2}\leq \frac{2}{m}\left \| \bigtriangledown f(x) \right \|_{2}$ ,证明如下

$p^{*}=f(x^{*})\geq f(x)+\bigtriangledown f(x)^{T}(x^{*}-x)+\frac{m}{2}\left \| x^{*}-x \right \|_{2}^{2}$

利用柯西施瓦兹不等式有，

$p^{*}\geq f(x)-\left \| \left \| \bigtriangledown f(x) \right \|_{2} \left \| x^{*}-x \right \|\right \|+\frac{m}{2}\left \| x^{*} -x\right \|_{2}^{2}$ ，由于 $p^{*}\leq f(x)$

所以有 $-\left \| \left \| \bigtriangledown f(x) \right \|_{2} \left \| x^{*}-x \right \|\right \|+\frac{m}{2}\left \| x^{*} -x\right \|_{2}^{2}\leq 0$

得证。

2.下降的方法

此处描述算法将产生一个优化点列 $x^{(k)},k=1,\cdots$ 其中

$x^{(k+1)}=x^{(k)}+t^{(k)}\bigtriangleup x^{(k)}$

并且有 $t^{(k)}>0$ ， $t^{(k)}$ 被成为第k次迭代的步长， $\bigtriangleup x^{(k)}$ 为搜索方向。所有的下降方法，都要满足只要 $x^{(k)}$ 不是最优点就成立：

$f(x^{(k+1)})<f(x^{(k)})$

由凸性可知， $\bigtriangledown f(x^{(k)})^{T}(y-x^{k})<0$

因此一个下降方法中的搜索方向必须满足 $\bigtriangledown f(x^{(k)})^{T}\bigtriangleup x^{k}<0$ ，即搜索方向必须与负梯度方向是锐角。

下降方向由交替进进行的两个步骤构成：确定下降方向 $\bigtriangleup x$ ，选择步长。其一般框架如下：

算法1 通用下降算法

给定初始点 $x \in dom f$

重复进行

1.确定下降方向 $\bigtriangleup x$ 。

2.直线搜索。选择步长 t>0 .

3.修改。 $x:x+t\bigtriangleup x$

精确直线搜索

是通过沿着射线 $\left \{ \right.x+t\bigtriangleup x|t\geq 0\left. \right \}$ 优化而确定：

$t=argmin_{s\geq 0} f(x+s\bigtriangleup x)$

回溯直线搜索

通过沿着射线 $\left \{ \right.x+t\bigtriangleup x|t\geq 0\left. \right \}$ 近似优化确定步长，甚至只要有足够的减少即可。

算法2 回溯直线搜索

给定在 $x \in dom f$ 处的下降方向 $\bigtriangleup x$ ，参数 $\alpha \in (0,0.5),\beta \in (0,1)$

t:=1

如果 $f(x+t\bigtriangleup x)>f(x)+\alpha t\bigtriangledown f(x)^{T}\bigtriangleup x$ ，令 $t:=\beta t$ 。

3.梯度下降的方法

由于一个下降方法中的搜索方向必须满足 $\bigtriangledown f(x^{(k)})^{T}\bigtriangleup x^{k}<0$ ，即搜索方向必须与负梯度方向是锐角。

因此用负梯度作搜索方向 $\bigtriangleup x=-\bigtriangledown f(x)$ ,是一种自然的选择。

ps:为什么梯度下降是最快下降方向呢？

$f(x^{k+1})-f(x^{k})=\bigtriangledown f(x^{(k)})^{T}(x^{k+1}-x^{k})<0$

$\bigtriangledown f(x^{(k)})^{T}(y-x^{k})=|\bigtriangledown f(x^{(k)})||y-x^{k}|cos\alpha$

当 $\alpha$ 为180度时， $cos\alpha =-1$ 取得最小值。

3.1 采用精准直线搜索收敛性分析

由于有 $f(y)\leq f(x)+\bigtriangledown f(x)^{T}(y-x)+\frac{M}{2}\left \| y-x \right \|_{2}^{2}$ ,

将 $y=x-t\bigtriangledown f(x)$ 代入可以得到 $\tilde{f(t)}\leq f(x)-t\left \| \bigtriangledown f(x) \right \|_{2}^{2}+\frac{Mt^{2}}{2}\left \| \bigtriangledown f(x) \right \|_{2}^{2}$