凸优化问题

凸优化问题

此处为Boyd凸优化教材中对于凸优化问题特征的基本描述

什么是凸优化问题（凸优化问题的基本描述）

标准形式：

$$\begin{array}{ll}\mathrm{minimize}& f_0(x)\\ \text{ subject to }& f_i(x)\le 0,i=1,\dots ,m\\ & h_i(x)=0,i=1,\dots ,p\end{array}$$

如何判断一个优化问题是不是凸优化问题？三点要求：

1.目标函数为凸
2.不等式约束为凸
3.等式约束是仿射的

问题的定义域为：
$$\mathcal{D}=\bigcap _{i=0}^m\mathrm{dom}{f}_i\cap \bigcap _{i=1}^p\mathrm{dom}{h}_i$$
凸优化问题的本质，即是在一个凸集上极小化一个凸的目标函数。

凸问题与拟凸问题之间的关系

而如果目标函数是拟凸的，则优化问题扩展为拟凸优化问题。拟凸优化问题和凸优化问题的关系为：**凸优化问题为最优集最多包含一个点的拟凸优化问题。**由于拟凸函数和凸函数下水平集都是凸集，次优集（或最优集）都是凸的，如果目标函数严格凸，则最优集至多一个点。

局部最优与全局最优（凸优化问题的特殊之处；为什么都要研究凸优化问题）

对于凸优化问题，局部最优解即全局最优解（对于拟凸问题不满足）

可微函数$f_0$的最优性准则（凸优化问题的最优解怎么解）

设凸优化问题的目标函数$f_0$可微，对于所有的$x,y\in \mathrm{dom}{f}_0$，有：
$$f_0(y)\ge f_0(x)+\nabla f_0(x{)}^T(y-x)$$
以上为凸函数的一阶判定条件，用$X$表示可行集，则$x$是最优解，当且仅当$x\in X$且

$$\nabla f_0(x{)}^T(y-x)\ge 0\text{ for all }y\in X$$

其物理意义是：$-\nabla f_0(x)$在$x$处定义了可行集的一个支撑超平面。
以下讨论集中特殊凸优化问题的最优性准则：

无约束问题

无约束问题，可行域是$\mathrm{dom}{f}_0$的全空间，此时最优解充要条件是：
$$\nabla f_0(x)=0$$
这是一种之前见过的较传统情况，高中数学求函数极值点的重要准则就是找导数为0的点。根据上式解的数量，有几种可能的情况，下面是一个例子：

无约束二次规划：最小化目标函数
$$f_0(x)=(1/2)x^{T}Px+q^{T}x+r$$
其中$P$为半正定阵，则有最优解条件可得：
$$\nabla f_0(x)=Px+q=0$$
最优解为方程组$Px=-q$的解，则有如下几种情况：
1.$q$不在$P$的列空间中，则无解，此时$f_0$无下界。
2.如果$P\succ 0$，$f_0$严格凸，有唯一最小解$x^{\ast }=-P^{-1}q$。
3.如果$P$奇异而$-q$在其列空间中，则有多个最优解，最优解集合为$X_{\mathrm{o}\mathrm{p}\mathrm{t}}=-P^{†}q+\mathcal{N}(P)$。

只含等式约束

问题形式：
$$\begin{array}{ll}\mathrm{minimize}& f_0(x)\\ \text{ subject to }& Ax=b\end{array}$$
最优性条件：$\nabla f_0(x)\in \mathcal{R}(A^{\mathrm{T}})$，或：$\nabla f_0(x)$在$\mathcal{N}(A)$的正交补中。
证明：

可行集是一个仿射集，最优性条件为：对任意$Ay=b$的$y$
$$\nabla f_0(x{)}^{\mathrm{T}}(y-x)\ge 0$$
每一个$y$都有$y=x+v$的形式，其中$v\in \mathcal{N}(A)$，最优性条件为：
$$\nabla f_0(x{)}^{\mathrm{T}}v\ge 0,\text{for all }v\in \mathcal{N}(A)$$
如果一个线性函数在子空间中非负，则它在子空间上必恒等于0。故而$\nabla f_0(x{)}^{\mathrm{T}}v=0$，即$\nabla f_0(x)$在$\mathcal{N}(A)$的正交补中。所以只含等式约束的凸优化问题最优性条件为：$\nabla f_0(x)\in \mathcal{R}(A^{\mathrm{T}})$，即：
$$\mathcal{N}(A)+A^{\mathrm{T}}v=0$$
这是经典的Lagrange乘子最优条件。

非负象限中的极小化

问题形式：
$$\begin{array}{ll}\mathrm{minimize}& f_0(x)\\ \text{ subject to }& x⪰0\end{array}$$
最优性条件：
$$x⪰0,\nabla f_0(x)⪰0,x_i{\left(\nabla f_0(x)\right)}_i=0,i=1,\dots ,n$$
证明：
由可微$f_0(x)$的最优性条件可知：
$$x⪰0,\nabla f_0(x{)}^T(y-x)\ge 0\text{ for all }y⪰0$$
其中$\nabla f_0(x{)}^{T}y$是$y$的线性函数且在$y⪰0$上无下界。于是最优条件简化为$-\nabla f_0(x{)}^{T}x\ge 0$，而$x⪰0$且$\nabla f_0(x)⪰0$，所以有$\nabla f_0(x)=0$，即：
$$\sum _{i=1}^n(\nabla f_0(x){)}_i{x}_i=0$$
这是$n$个非负项乘积之和，故而每一项乘积都是0，得证。
$x_i{\left(\nabla f_0(x)\right)}_i=0$该项称为互补性，表明$x$和$\nabla f_0(x)$的稀疏模式互补，也是KKT条件中的重要内容。

等价凸问题（如何将一般问题转化为凸问题）

消除等式约束

$$\begin{array}{ll}\mathrm{minimize}& f_0\left(Fz+x_0\right)\\ \text{ subject to }& f_i\left(Fz+x_0\right)\le 0,i=1,\dots ,m\end{array}$$
其中$F$的值域为$A$的零空间，$A{x}_0=b$，则等式约束有：
$$A(Fz+x_0)=AFz+A{x}_0=A{x}_0=b,\text{for all }z$$

引入等式约束

若问题中有这种形式：$f_i\left(A_{i}x+b_i\right)$，则用$y_i=A_{i}x+b_i$代替。

松弛变量

将不等式约束$f_i(x)\le 0$引入松弛变量$s_i$，变不等式约束为等式约束：
$$f_i(x)+s_i=0$$

上境图问题

传统问题可转化为：
$$\begin{array}{ll}\mathrm{minimize}& t\\ \text{ subject to }& f_0(x)-t\le 0\\ & f_i(x)\le 0,i=1,\dots ,m\\ & a_i^{T}x=b_i,i=1,\dots ,p\end{array}$$
因为任何凸优化问题都可以转化为具有线性目标函数的问题，所以称线性目标函数对凸优化问题是普适的。

极小化部分变量

拟凸优化

问题描述

传统凸优化问题的目标函数拓展为拟凸函数。（这里要说明，凸约束函数没必要拓展到拟凸，因为约束函数有用的仅是下水平集，而凸函数与拟凸函数的下水平集都是凸集）

最优性条件（最优解怎么取）

x ∈ X , ∇ f 0 ( x ) T ( y − x ) > 0  for all  y ∈ X \ { x } x \in X, \quad \nabla f_{0}(x)^{T}(y-x)>0 \text { for all } y \in X \backslash\{x\} x∈X,∇f0​(x)T(y−x)>0 for all y∈X\{x}

拟凸问题最优解条件与凸问题不同：
1.对拟凸问题，该条件为充分条件；而凸问题是充要条件。拟凸问题中最优解可以不满足该条件。
2.拟凸问题要求$f_0$的梯度非0，凸问题则不需要

用凸可行性问题求解拟凸优化问题（拟凸问题怎么解）

思路：用一族凸不等式来表示拟凸函数的下水平集
令${\varphi }_t:{\mathbf{R}}^n\to \mathbf{R},t\in \mathbf{R}$为满足
$$f_0(x)\le t⟺{\varphi }_t(x)\le 0$$
的一族凸函数，且对每一个$x$，${\varphi }_t(x)$关于$t$非增（由于用${\varphi }_t(x)$的下水平集表示原拟凸函数的下水平集，原函数当$t$变大时，在该原集合中的$x$仍然在新的下水平集中，这一限定既是为了满足该特点）。
用$p^{\star }$表示拟凸优化问题的最优值，可以构造如下凸的可行性问题：
$$\begin{array}{ll}\text{ find }& x\\ \text{ subject to }& {\varphi }_t(x)\le 0\\ & f_i(x)\le 0,i=1,\dots ,m\\ & Ax=b\end{array}$$
该可行性问题可用来判断最优值与给定$t$之间的关系：如果对于给定$t$，上述有解，则说明$p^{\star }\le t$，反之同理。基于该功能，我们可以用二分法来框定拟凸问题的最优值以及最优解，算法流程如下：