凸优化

最新推荐文章于 2023-09-04 19:24:56 发布

聆一

最新推荐文章于 2023-09-04 19:24:56 发布

阅读量669

点赞数

本文链接：https://blog.csdn.net/weixin_43264420/article/details/104432271

版权

凸优化

标准形式的凸优化问题
局部最优解与全局最优解
可微函数 $f_0$ 的最优性准则
等价的凸问题
拟凸优化

标准形式的凸优化问题

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ a_i^T=b_i&i=1,\cdots p \end{matrix}$

$f_0,d_1,f_2\cdots ,f_m$ 是凸函数，等式约束是仿射函数。则此优化问题是凸优化问题。

也可以写成

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ Ax=b& \end{matrix}$

重要性质：凸优化问题的可行集也是凸集。

证明：可行集是满足不等式约束和等式约束的点的集合，首先不等式约束函数 $f_i$ 是凸函数，满足不等式约束 $f_i(x)\leq 0$ 的x，相当于是 $f_i$ 的0-下水平集，凸函数的下水平集是凸集，所以满足每个不等式约束的x均是凸集，同时满足这些不等式约束的x是这些凸集的交集仍为凸集。对于等式约束，满足每个仿射函数的x是凸集，同时满足多个仿射函数的x是凸集的交集也是凸集。同时考虑不等式约束和等式约束，可知凸优化问题的可行集也是凸集。

例子：

$minimize\, \, f_0(x)=x_1^2+x_2^2 \\ subject\, \, to\, \, \begin{matrix} f_1(x)=x_1/(1+x_2^2)\leq 0& \\ h_1(x)=(x_1+x_2)^2=0& \end{matrix}$

首先判断可行集，由两个约束函数可推出 $x_1+x_2=0,x_1\leq 0$ ，可知可行集是凸集。

$f_0$ 是凸函数。但是这不是一个凸优化问题，因为其不等式约束函数不是凸函数，等式约束函数也不是仿射函数。

但可以得到其等价的凸优化问题：

$minimize\, \, f_0(x)=x_1^2+x_2^2 \\ subject\, \, to\, \, \begin{matrix} f_1(x)=x_1\leq 0& \\ h_1(x)=x_1+x_2=0& \end{matrix}$

局部最优解与全局最优解

凸优化问题的基础性质:局部最优解也是全局最优解。

证明：

假设x是局部最优解，且存在一个可行点y， $f_0(y)\leq f_0(x)$ 。

因为x是局部最优解，故存在一些R，

$R>0,f_0(x)=inf\left \{ f_0(z)|z\, is \, feasible,\begin{Vmatrix} z-x \end{Vmatrix}_2\leq R\right \}$

因为凸优化问题的可行集是凸集，故取 $\forall \theta \in[0,1],z=\theta y+(1-\theta)x$ 都属于可行集。

因为 $f_0(y)\leq f_0(x)$ ，故 $\begin{Vmatrix} y-x \end{Vmatrix}_2> R$ ，此时令 $\theta =\frac{R}{2\begin{Vmatrix} y-x \end{Vmatrix}_2}$ 。可知 $\theta \in(0,1/2)$ 此时

$\begin{Vmatrix} z-x \end{Vmatrix}_2= \begin{Vmatrix} -\theta x+\theta y \end{Vmatrix}_2 =\begin{Vmatrix} \theta(y-x) \end{Vmatrix}_2$

$= \begin{Vmatrix} \frac{R}{2\begin{Vmatrix}y-x \end{Vmatrix}_2}(y-x) \end{Vmatrix}_2= \frac{R}{2\begin{Vmatrix}y-x \end{Vmatrix}_2}\begin{Vmatrix} (y-x) \end{Vmatrix}_2=R/2< R$

$\Rightarrow f_0(z)\geq f_0(x)$

而根据凸函数性质：

$f_0(z)=f_0(\theta y+(1-\theta)x)\leq \theta f_0(y)+(1-\theta)f_0(x)< f_0(x)$

与上式矛盾。故凸优化问题中局部最优解就是全局最优解。

可微函数 $f_0$ 的最优性准则

当 $f_0$ 是可微凸函数时，根据凸函数一阶条件，可知 $\forall x,y\in dom(f_0),f_0(y)\geq f_0(x)+\bigtriangledown ^Tf_0(x)(y-x)$

如果x是最优解，对任意的y属于可行集，首先满足 $f_0(y)\geq f_0(x)+\bigtriangledown ^Tf_0(x)(y-x)$ ，同时满足 $f_0(y)\geq f_0(x)$ 。所以x是最优解的充要条件就是对任意的y属于可行集， $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$

$\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ 等价于 $-\bigtriangledown ^Tf_0(x)(y-x)\leq 0$ ，故几何上如果 $\bigtriangledown ^Tf_0(x)\neq 0$ ， $-\bigtriangledown ^Tf_0(x)$ 在可行集上定义了一个支撑超平面。

1）对于无约束问题：

可行集就是 $f_0$ 的定义域，所以x是最优解的充要条件就是 $\bigtriangledown f_0(x)=0$ 。

证明：因为 $f_0$ 可微，所以其定义域是开的，因此与x足够近的点都可行，取 $y=-t\bigtriangledown f_0(x),t\in R$ ,t为很小正数时，y可行，于是

$\bigtriangledown ^Tf_0(x)(y-x)= -t\bigtriangledown ^Tf_0(x) \bigtriangledown f_0(x)=-t\begin{Vmatrix}\bigtriangledown f_0(x) \end{Vmatrix}_2$ ，要想满足 $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ ，只能 $\bigtriangledown f_0(x)=0$ 。

2)对于只有等式约束的问题:

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} Ax=b& \end{matrix}$

可行解的最优性条件：对任意的y属于可行集，即 $\forall \left \{ y|Ay=b \right \}$ , $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ ，因为x,y都是可行解，令 $y=x+v,\forall v\in N(A)$ ,N(A)表示矩阵A的零空间， $v\in N(A)\Leftrightarrow Av=0$ ,

将x,y代入最优条件： $\bigtriangledown ^Tf_0(x)v\geq 0,\forall v\in N(A)$ ，即线性函数非负，故 $\bigtriangledown ^Tf_0(x)v=0,\forall v\in N(A)$

$\bigtriangledown f_0(x)\perp N(A)$ 又因为 $N(A)^{\perp }=R(A^T)$

$\Rightarrow \bigtriangledown f_0(x)\in R(A^T)\Rightarrow \exists v\in R^p,A^Tv=\bigtriangledown f_0(x)\Leftrightarrow \exists v\in R^p,A^Tv+\bigtriangledown f_0(x)=0$

上述最优性条件也可以拉格朗日乘子法得到，令 $L=f_0(x)+\lambda (Ax-b)$

$\frac{\partial L}{\partial x}=\bigtriangledown f_0(x)+A^T\lambda$ ，令其为0，得到最优性条件。

3)对于非负象限的极小化问题:

$minimize\, \, f_0(x) \, \, \, \\subject\, \, to\, \, x\geq 0$

当x为最优解时，最优性条件： $\forall y\geq 0,$ $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ 。而 $\bigtriangledown ^Tf_0(x)(y-x)\geq 0$ 是y的线性函数，在 $y\geq 0$ 时，如果 $\bigtriangledown ^Tf_0(x)< 0$ 时，函数无下界，即最优条件不可能恒成立，故 $\bigtriangledown ^Tf_0(x)\geq 0$ 。

于是最优条件写成：

$\forall y\geq 0,$ $\bigtriangledown ^Tf_0(x)y+(-\bigtriangledown ^Tf_0(x)x)\geq 0$

所以要使上式恒成立要求 $-\bigtriangledown ^Tf_0(x)x\geq 0$ ，而 $\bigtriangledown ^Tf_0(x)\geq 0$ 且 $x\geq 0$ ，所以只能是 $\bigtriangledown ^Tf_0(x)x=0$

即 $\sum _{i=1}^n(\bigtriangledown f_0(x))_ix_i=0$

等价的凸问题

保持问题凸性的转换有：消除等式约束、引入等式约束、引入松弛变量、上境图问题形式、极小化部分变量

消除等式约束

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ Ax=b& \end{matrix}$

等价于

$minimize\, \, f_0(Fz+x_0) \\ subject\, \, to\, \, \begin{matrix} f_i(Fz+x_0)\leq 0& i=1,\cdots m \end{matrix}$

$x_0$ 是Ax=b的特解，F的列可以长成A的零空间。

引入等式约束

$minimize\, \, f_0(A_0x+b_0) \\ subject\, \, to\, \, \begin{matrix} f_i(A_ix+b_i)\leq 0& i=1,\cdots m \end{matrix}$

等价于

$minimize\, \, f_0(y_0) \\ subject\, \, to\, \, \begin{matrix} f_i(y_i)\leq 0& i=1,\cdots m \\y_i=A_ix+b_i& i=1,\cdots m\end{matrix}$

引入松弛变量

$minimize\, \, f_0(x) \\ subject\, \, to\, \, a_i^Tx\leq b_i,i=1,2\cdots m$

等价于

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} a_i^Tx+ s_i=b_i,i=1,2\cdots m \\ s_i\geq 0,i=1,2\cdots m \end{matrix}$

上境图形式

凸优化问题的上境图形式：

$minimize\, \, t \\ subject\, \, to\, \, \begin{matrix} f_0(x)-t\leq 0 \\ f_i(x)\leq 0,i=1,2\cdots m \\ a_i^Tx=b_i ,i=1,2\cdots p \end{matrix}$

极小化部分变量

极小化凸函数的部分变量将保持凸性不变，

$minimize\, \, f_0(x_1,x_2) \\ subject\, \, to\, \, \begin{matrix} f_i(x_1)\leq 0& i=1,\cdots m \end{matrix}$

等价于

$minimize\, \, \tilde{f_0}(x_1) \\ subject\, \, to\, \, \begin{matrix} f_i(x_1)\leq 0& i=1,\cdots m\end{matrix}$

$\tilde{f_0}(x_1) =\underset{x_2}{sup}\, f_0(x_1,x_2)$

拟凸优化

拟凸优化的标准形式

$minimize\, \, f_0(x) \\ subject\, \, to\, \, \begin{matrix} f_i(x)\leq 0& i=1,\cdots m \\ a_i^T=b_i&i=1,\cdots p \end{matrix}$

$f_1,f_2\cdots ,f_m$ 是凸函数，等式约束是仿射函数， $f_0$ 是拟凸函数。则此优化问题是拟凸优化问题。

拟凸优化问题的局部最优解不一定是全局最优解。

如上图 $(x,f_0(x))$ 是局部最优解但是不是全局最优解。

用一族凸函数不等式表示拟凸函数的下水平集

选择一族凸函数 $\phi _t:R^n\rightarrow R,t \in R$ ，t是凸函数的编号，这些函数满足：

$f(x)\leq t\Leftrightarrow \phi _t(x)\leq 0$ ，即拟凸函数的t下水平集是凸函数 $\phi _t$ 的0下水平集。

并且，对于每个x， $\phi _t(x)$ 都是t的非增函数。

注意：t固定时，每个 $\phi _t(x)$ 是x的凸函数。

例子：

$f_0(x)=p(x)/q(x)$ ，其中p是凸函数，q是凹函数，在定义域上， $p(x)\geq 0,q(x)> 0$ 。

则可取 $\phi _t(x)=p(x)-tq(x)$

说明：（1） $\phi _t(x)$ 是凸的：p是凸的，q是凹的，但-q是凸的，所以 $\phi _t(x)$ 是凸的。

（2）满足： $p(x)/q(x)\leq t\Leftrightarrow \phi _t(x)\leq 0$

求解拟凸优化的二分法

思想：有一个区间，包含最优解，取区间的中点，判断最优解在上半区间还是下半区间，然后更新区间，不断将区间缩小为原来的一般直到找到足够小的区间。

算法：

给定 $l\leq p^*,u\geq p^*$ ，容忍度 $\varepsilon >0$

重复一下步骤:

$t=(l+u)/2$
求解凸可行性问题
如果问题可行，u=t，否则l=t

直到 $u-l< \varepsilon$

                    <li class="tool-item tool-active is-like "><a href="javascript:;"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#csdnc-thumbsup"></use>
                    </svg><span class="name">点赞</span>
                    <span class="count">4</span>
                    </a></li>
                    <li class="tool-item tool-active is-collection "><a href="javascript:;" data-report-click="{&quot;mod&quot;:&quot;popu_824&quot;}"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#icon-csdnc-Collection-G"></use>
                    </svg><span class="name">收藏</span></a></li>
                    <li class="tool-item tool-active is-share"><a href="javascript:;"><svg class="icon" aria-hidden="true">
                        <use xlink:href="#icon-csdnc-fenxiang"></use>
                    </svg>分享</a></li>
                    <!--打赏开始-->
                                            <!--打赏结束-->
                                            <li class="tool-item tool-more">
                        <a>
                        <svg t="1575545411852" class="icon" viewBox="0 0 1024 1024" version="1.1" xmlns="http://www.w3.org/2000/svg" p-id="5717" xmlns:xlink="http://www.w3.org/1999/xlink" width="200" height="200"><defs><style type="text/css"></style></defs><path d="M179.176 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5718"></path><path d="M509.684 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5719"></path><path d="M846.175 499.222m-113.245 0a113.245 113.245 0 1 0 226.49 0 113.245 113.245 0 1 0-226.49 0Z" p-id="5720"></path></svg>
                        </a>
                        <ul class="more-box">
                            <li class="item"><a class="article-report">文章举报</a></li>
                        </ul>
                    </li>
                                        </ul>
            </div>
                        </div>
        <div class="person-messagebox">
            <div class="left-message"><a href="https://blog.csdn.net/wangchy29">
                <img src="https://profile.csdnimg.cn/C/A/4/3_wangchy29" class="avatar_pic" username="wangchy29">
                                        <img src="https://g.csdnimg.cn/static/user-reg-year/1x/2.png" class="user-years">
                                </a></div>
            <div class="middle-message">
                                    <div class="title"><span class="tit"><a href="https://blog.csdn.net/wangchy29" data-report-click="{&quot;mod&quot;:&quot;popu_379&quot;}" target="_blank">沐阳听风666</a></span>
                                        </div>
                <div class="text"><span>发布了155 篇原创文章</span> · <span>获赞 31</span> · <span>访问量 5万+</span></div>
            </div>
                            <div class="right-message">
                                        <a href="https://im.csdn.net/im/main.html?userName=wangchy29" target="_blank" class="btn btn-sm btn-red-hollow bt-button personal-letter">私信
                    </a>
                                                        <a class="btn btn-sm  bt-button personal-watch" data-report-click="{&quot;mod&quot;:&quot;popu_379&quot;}">关注</a>
                                </div>
                        </div>
                </div>
</article>