半定规划（SDP） 2021-11-08

常见的凸优化问题包括：线性规划（LP，Linear Program），二次规划（QP，Quadratic Program），二次约束的二次规划（QCCP，Quadratically Contrained Quadratic Program），半正定规划（SDP，Semidefinite Program）

凸优化简单回顾

凸优化问题（OPT，convex optimization problem）指定义在凸集中的凸函数最优化的问题。一般形式为：
$$\begin{gathered} \underset{x}{\min }f(x) \\ \mathrm{s}.\mathrm{t}.x\in \mathbb{C} \end{gathered}$$
其中 $f$ 是一个凸函数，$\mathbb{C}$ 是一个凸集，$x$ 是优化变量。

• 凸优化问题的优势体现在：
  1、凸优化问题的局部最优解就是全局最优解
  2、很多非凸问题都可以被等价转化为凸优化问题或者被近似为凸优化问题
  3、凸优化问题的研究较为成熟，当一个具体被归为一个凸优化问题，基本可以确定该问题是可被求解的

线性规划 （LP）

• 线性目标，线性约束，向量变量$x$为非负实向量。
• 问题形式：
  $$\begin{gathered} \underset{x}{\min }{a}_{0}x \\ \mathrm{s}.\mathrm{t}.a_{p}x=b_p(p=1,\cdots ,m), \\ 0\le x\in R^n. \end{gathered}$$

二次规划 （QP）

• 目标函数变量最高为二次项，线性约束，向量变量$x$为非负实向量。
• 问题形式：
  $$\begin{gathered} \underset{x}{\min }\frac{1}{2}{x}^{T}Px+q^{T}x+c \\ \mathrm{s}.\mathrm{t}.Ax=b, \\ Gx⪯h. \end{gathered}$$
  当约束条件变为二次的时，问题就变成了QCQP（Quadratical Constraint Quadratic Programming）问题了：
  $$\begin{gathered} \underset{x}{\min }\frac{1}{2}{x}^T{P}_{0}x+q_0^{T}x+c_0 \\ \mathrm{s}.\mathrm{t}.\frac{1}{2}{x}^T{P}_{i}x+q_i^{T}x+c_i,(i=1,\cdots ,m), \\ Ax=b. \end{gathered}$$

二阶锥规划 ( SOCP)

SOCP 全称 Second-Order Cone Programming。

• 问题形式为：
  $$\begin{gathered} \underset{x}{\min }{f}^{T}x \\ \mathrm{s}.\mathrm{t}.\Vert A_{i}x+b_i{\Vert }_2\le c_i^{T}x+d_i,(i=1,\cdots ,m), \\ Fx=g. \end{gathered}$$
  其中 $x\in R^n$ 是优化变量，$\Vert A_{i}x+b_i{\Vert }_2\le c_i^{T}x+d_i$ 是二阶锥约束。
• 当 $c_i=0$，SOCP等价于QCQP问题；SOCP是更一般的QCQP问题。
• 当 $A_i=0$，SOCP等价于LP问题。

半定规划（SDP）

• 线性目标，线性约束，对称矩阵变量$X$为半正定实矩阵。
• 问题形式：
  $$\begin{gathered} \underset{X}{\min }{A}_{0}X \\ \mathrm{s}.\mathrm{t}.A_{p}X=b_p(p=1,\cdots ,m), \\ 0⪯X\in S^n. \end{gathered}$$
  其中$S^n$为n阶全体实对称矩阵的线性空间，$A_p$为n阶实对称矩阵，$b_p(p=1,\cdots ,m)$是实数，$X\in S^n$ 是n阶对称矩阵变量。
• $A_{p}X={\sum }_{i=1}^n{\sum }_{j=1}^n[A_P{]}_{ij}{X}_{ij}$。
• SDP可视为LP的推广，LP的向量分量不等式被矩阵不等式代替。根据半定矩阵的定义知，SDP也可视为一个线性约束的关于变量的无限集的LP，解LP的原始对偶内点法可以推广到SDP。
• LP的可行域为有限个顶点的凸多面体，SDP的可行域为一个曲面体。

参考链接

[1]. https://blog.csdn.net/sdgyfbtnyj/article/details/100101233
[2]. Stephen Boyd,《Convex Optimization》
[3]. 算法参考 添加链接描述