凸优化学习之SDP

凸优化学习之SDP

常见的凸优化问题包括：线性规划（LP，Linear Program），二次规划（QP，Quadratic Program），二次约束的二次规划（QCCP，Quadratically Contrained Quadratic Program），半正定规划（SDP，Semidefinite Program）

LP

LP标准格式  如下
$$\begin{array}{rl}LP:& minc.x\\ & s.t.a_i.x=b_i,i=1,...m\\ & x\in R_{+}^n\end{array}$$
其中$x$是长度为$n$的向量，$c。x$是内积
将LP改写为对偶性形式：
$$\begin{array}{rl}LD:& max\sum _{i=1}^m{y}_i.b_i\\ & s.t.\sum _{i=1}^m{y}_i.a_i+s=c\\ & s\in R_{+}^n\end{array}$$
duality gap:$c.x-{\sum }_{i=1}^m{y}_i{b}_i=(c-{\sum }_{i=1}^m{y}_i{a}_i).x=s.x\ge 0$从LP对偶理论中我们知道，只要原始问题LP是可行的并且已经限制了最佳目标值，那么原始和对偶都达到了带有虚假间隙的最优值。

duality gap和optimality gap的定义不一样，opt gap说的是当下的值距离最优值的界的差距，是一个分析优化算法收敛速度的重要指标，通常在分析的时候用带n的不等式给bound住，然后给个速率，但是很显然，optimal point在算法中肯定无法知道，所以opt gap就是一个数学分析的目标。而duality gap则是当下对偶问题值（dual value）和主问题值（primal value）的差距，一般的在最优解处这个差距是0，所以duality gap也可以作为分析算法的一个目标（虽然分析还是喜欢考虑opt gap作为目标），而且duality gap可以在算法中当作停止条件（当duality gap足够小的时候停止）。总结一下：optimality gap是一个数学概念，主要作为分析算法速率的目标。Duality gap也是一个最优目标，但是更好的是duality gap是能够给设计算法做指导的。

SDP

SDP常见格式
$$\begin{array}{rl}SDP:& minC.X\\ & s.t.A_i.X=b_i,i=1,...m\\ & X⪰0\end{array}$$
其中SDP的这个$X$是一个矩阵，但是把它当作一个$n^2$的序列或者一个属于$S^n$的一个向量
SDP的表达式中$X$是一个半正定对称矩阵，$C$和$A_i$是对称矩阵，

SDP例子

$
A1=\left(\begin{array}{ccc}
1&0&1\
0&3&7\
1&7&5
\end{array}
\right)
$
,
$
A2=\left(\begin{array}{ccc}
0&2&8\
2&6&0\
8&0&4
\end{array}
\right)
$.
$
C=\left(\begin{array}{ccc}
1&2&3\
2&9&0\
3&0&7
\end{array}
\right)
$ $b1=11$，$b2=19$
$
X=\left(\begin{array}{ccc}
x_{11}&x_{12}&x_{13}\
x_{21}&x_{22}&x_{23}\
x_{31}&x_{32}&x_{33}
\end{array}
\right)
$

$C.X=x_{11}+2x_{12}+3x_{13}+2x_{21}+9x_{22}+0x_{23}+3x_{31}+0x_{32}+7x_{33}=x_{11}+4x_{12}+6x_{13}+9x_{22}+0x_{23}+7x_{33}$
最后的的SDP格式写为
$$\begin{array}{rl}SDP:& min.x_{11}+4x_{12}+6x_{13}+9x_{22}+0x_{23}+7x_{33}\\ & s.t.x_{11}+0x_{12}+2x_{13}+3x_{22}+14x_{23}+5x_{33}=11\\ & 0x_{11}+4x_{12}+16x_{13}+6x_{22}+0x_{23}+4x_{33}=19\\ & X=\left(\begin{array}{ccc}{x}_{11}& x_{12}& x_{13}\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\end{array}\right)⪰0\end{array}$$
半定规划是线性规划的一种推广，它是在满足约束“对称矩阵的仿射组合半正定”的条件下使线性函数极大（极小）化的问题。这个约束是非线性、非光滑并且是凸的，因而半定规划是一个非光滑凸优化问题。

SDD

SDD是SDP的对偶
$$\begin{array}{rl}SDD:& max\sum _{i=1}^m{y}_i.b_i\\ & s.t.\sum _{i=1}^m{y}_i.A_i+S=C\\ & S⪰0\end{array}$$
将上一个例子进行对偶化
$$\begin{array}{rl}SDD:& max11y_1+19y_2\\ & s.t.y_1\left(\begin{array}{ccc}1& 0& 1\\ 0& 3& 7\\ 1& 7& 5\end{array}\right)+y_2\left(\begin{array}{ccc}0& 2& 8\\ 2& 6& 0\\ 8& 0& 4\end{array}\right)+S=\left(\begin{array}{ccc}1& 2& 3\\ 2& 9& 0\\ 3& 0& 7\end{array}\right)\\ & S⪰0\end{array}$$

定理

duality gap:$C.X-{\sum }_{i=1}^m{y}_i{b}_i=(C-{\sum }_{i=1}^m{y}_i{A}_i).X=S.X\ge 0$如果能有$C.X-{\sum }_{i=1}^m{y}_i{b}_i=0$则SDP的最优解$X$和SDD的最优解$(y.S)$互相为对方的最优解。

明天继续…