04 Convex problem凸优化问题

---

1 一般优化问题

1.1 Standard Form 标准型

$$\begin{array}{rl}\min & f_0(\mathbf{x})\mathbf{x}\in {\mathbb{R}}^n\\ \mathrm{s}.\mathrm{t}.& f_i(\mathbf{x})\le 0,i=1,\cdots ,m,\\ & h_j(\mathbf{x})=0,j=1,\cdots ,l,\end{array}$$
优化变量：$x=(x_1,...x_n)$
目标函数： $f_0:R^n\to R$
不等式约束: $f_i:R^n\to R$
等式约束:$h_i:R^n\to R$
最优值： p ∗ = i n f { f 0 ( x ) ∣ f i ( x ) ≤ 0 , i = 1 , . . . m , h i ( x ) = 0 , i = 1 , . . . , l } p^*=inf\{f_0(x)|f_i(x)\leq 0,i=1,...m,h_i(x)=0,i=1,...,l\} p∗=inf{f0​(x)∣fi​(x)≤0,i=1,...m,hi​(x)=0,i=1,...,l}
最优解：$f_0(x^{\ast })=p^{\ast }$
隐式约束：$x\in D=\bigcap dom{f}_i\cap \bigcap dom{h}_i$
有时候我们只需要寻找一个可行点，$f_0(x)$设置为常数。

1.2 stationary point 驻点

定义：$▽f(x)=0$
局部极小：存在一个邻域内，使其在该邻域最小。
全局极小：显然
鞍点：存在一个邻域使得在改邻域内排在中间。

2 凸优化问题

2.1 标准形式

$$\begin{array}{rl}\min & f_0(\mathbf{x})\mathbf{x}\in {\mathbb{R}}^n\\ \mathrm{s}.\mathrm{t}.& f_i(\mathbf{x})\le 0,i=1,\cdots ,m,\\ & Ax=b\end{array}$$
目标函数是凸函数，定义在凸集上。
对于约束，凸函数的下水平集为凸集，凸集合的交为凸集。
为什么研究凸问题？凸问题的局部极小就是全局极小。
$f(y)\ge f(x^{\ast })+f^{\prime }(x^{\ast }{)}^T(y-x^{\ast })$

2.2最优性条件

对于可微函数
$x$是最优点 iff
$f^{\prime }(x^{\ast }{)}^T(y-x^{\ast })\ge 0$ for all feasible $y$.

证明 见上面泰勒展开。
另外条件见后一章kkt.

2.3 等价

2.3.1 消除等式约束

$$\begin{array}{rl}\min & f_0(Fz+x_0)\mathbf{x}\in {\mathbb{R}}^n\\ \mathrm{s}.\mathrm{t}.& f_i(Fz+x_0)\le 0,i=1,\cdots ,m,\end{array}$$
where $F$ and $x_0$,$Ax=b⟺x=Fz+x_0$ for some $z$
$x_0$是任意可行解，$R(F)=N(A)$即$AF=0$
推广到变量替换。

2.3.2 对不等式引入松弛变量

$$\begin{array}{rl}\min & f_0(\mathbf{x})\mathbf{x}\in {\mathbb{R}}^n\\ \mathrm{s}.\mathrm{t}.& f_i(\mathbf{x})+s_i=0,i=1,\cdots ,m,\\ & s_i\ge 0\end{array}$$

2.3.3 上镜图形式

$$\begin{array}{rl}\min & t\mathbf{x}\in {\mathbb{R}}^n\\ \mathrm{s}.\mathrm{t}.& f_0(\mathbf{x})\le t\\ & f_i(\mathbf{x})\le 0,i=1,\cdots ,m,\\ & Ax=b\end{array}$$

2.3.4 降维 极小化其他变量

$$\begin{array}{rl}\min & in{f}_y{f}_0(x,y)\mathbf{x}\in {\mathbb{R}}^n\\ \mathrm{s}.\mathrm{t}.& f_i(\mathbf{x})\le 0,i=1,\cdots ,m,\\ & Ax=b\end{array}$$

3 拟凸问题

$$\begin{array}{rl}\min & f_0(\mathbf{x})\mathbf{x}\in {\mathbb{R}}^n\\ \mathrm{s}.\mathrm{t}.& f_i(\mathbf{x})\le 0,i=1,\cdots ,m,\\ & Ax=b\end{array}$$
$f_0$是拟凸函数，$f_i$是凸函数。拟凸优化问题可以转为多个连续的凸问题。

4 凸优化问题分类

• LP，QP，SOCP，SDP

4.1 LP Linear Programming

$$\begin{array}{rl}\min & c^{T}x+d\mathbf{x}\in {\mathbb{R}}^n\\ \mathrm{s}.\mathrm{t}.& Gx\le h\\ & Ax=b\end{array}$$
min$||x|{|}_{\infty }$等价于$t\le x\le t$ ,min $t$
min$||x|{|}_1$等价于$-t_i\le x\le t_i$ ,min $\sum t_i$

4.2QP Quadratic Programming

$$\begin{array}{rl}\min & \frac{1}{2}{x}^{T}Px+q^T+r\mathbf{x}\in {\mathbb{R}}^n\\ \mathrm{s}.\mathrm{t}.& Gx\le h\\ & Ax=b\end{array}$$
目标函数是二次，（$P\in S_{+}^n$）约束为线性。

4.3 QCQP Quadratically Constrained QP

$$\begin{array}{rl}\min & \frac{1}{2}{x}^T{P}_{0}x+q_0^T+r_0\\ \mathrm{s}.\mathrm{t}.& \frac{1}{2}{x}^T{P}_{i}x+q_i^T+r_i\le 0\\ & Ax=b\end{array}$$
$P_i\in S_{+}^n$
约束以及目标函数均为约束

4.4 SOCP Second-Order Cone Programming

$$\begin{array}{rl}\min & f^{T}x\\ \mathrm{s}.\mathrm{t}.& ||A_{i}x+b_i||\le c_i^{T}x+d_i\\ & Fx=g\end{array}$$
目标函数为线性约束为二阶锥。范数锥$||x||\le t$

4.5 SDP Semidefinite Programming

$$\begin{array}{rl}\min & c^{T}x\\ \mathrm{s}.\mathrm{t}.& \sum x_i{F}_i\preccurlyeq G\\ & Ax=b\end{array}$$
线性矩阵不等式。