半正定规划简介

本文主要内容来自 Vandenberghe, L., & Boyd, S. (1996). Semidefinite Programming. SIAM Review, 38(1), 49–95.

考虑如下优化问题
$$\begin{array}{ll}\min & c^{T}x\\ s.t.& F(x)\ge 0,\end{array}\text{\hspace{1em}(1)}$$
其中
$$F(x):=F_0+\sum _{i=1}^m{x}_i{F}_i.$$
在此问题中 $x\in {\mathbb{R}}^m,$ 给定的数据为向量 $c\in {\mathbb{R}}^m$ 和 $m+1$ 个对称矩阵 $F_0,F_1,\cdots ,F_m\in {\mathbb{R}}^{n\times n}.$ 我们称 $F(x)\ge 0$ 为线性矩阵不等式, 称此问题为半正定规划(semidefinite program). 此问题的可行域为 { x ∣ F ( x ) ≥ 0 } . \{x\mid F(x)\geq 0\}. {x∣F(x)≥0}.

原始对偶问题

优化问题 (1) 对应的对偶问题(dual problem)为
$$\begin{array}{ll}\max & -\mathbf{T}\mathbf{r}{F}_{0}Z\\ s.t.& \mathbf{T}\mathbf{r}{F}_{i}Z=c_i,i=1,2,\cdots ,m,\\ & Z\ge 0.\end{array}\text{\hspace{1em}(2)}$$
其中, $Z=Z^T\in {\mathbb{R}}^{n\times n}.$ \
我们称 $Z=Z^T\in {\mathbb{R}}^{n\times n}$ 是对偶可行的(dual feasible), 如果
$$\mathbf{T}\mathbf{r}Z{F}_i=c_i,i=1,2,\cdots ,m,andZ\ge 0.$$
我们也称原始的半正定规划问题(\ref{problem1})为原始问题(primal problem). 下面我们将探讨原始问题与对偶问题的一些性质.
假定 $Z$ 是对偶可行的, $x$ 是原始可行的, 那么有
$$\begin{array}{r}{c}^{T}x+\mathbf{T}\mathbf{r}Z{F}_0=\sum _{i=1}^m\mathbf{T}\mathbf{r}Z{F}_i{x}_i+\mathbf{T}\mathbf{r}Z{F}_0=\mathbf{T}\mathbf{r}ZF(x)\ge 0.\end{array}$$
因此有
$$\begin{array}{r}-\mathbf{T}\mathbf{r}{F}_{0}Z\le c^{T}x,\end{array}\text{\hspace{1em}(3)}$$
也就是说, 任意对偶可行点 $Z$ 对应的目标值小于等于任意原始可行点 $x$ 对应的目标值, 我们将这种现象称之为关于 $x$ 与 $Z$ 的对偶间隔(duality gap)：
$$\begin{array}{r}\eta :=c^{T}x+\mathbf{T}\mathbf{r}{F}_{0}Z=\mathbf{T}\mathbf{r}F(x)Z.\end{array}$$
令 $p^{\ast }$ 是原始问题 (\ref{problem1}) 的最优解, 即
p ∗ ≔ inf ⁡ { c T x ∣ F ( x ) ≥ 0 } , \begin{aligned} p^*\coloneqq \inf\{c^Tx\mid F(x)\geq 0\}, \end{aligned} p∗:=inf{cTx∣F(x)≥0},​
$Z$ 是对偶可行的, 所以由 (3) 式我们有
$$-\mathbf{T}\mathbf{r}{F}_{0}Z\le q^{\ast }.$$同理, 令 $d^{\ast }$ 是对偶问题 (2) 的最优解, 即
d ∗ ≔ sup ⁡ { − T r F 0 Z ∣ Z = Z T ≥ 0 , T r F i Z = c i ,    i = 1 , 2 , ⋯   , m } . \begin{aligned} d^*\coloneqq \sup\{-\mathbf{Tr}F_0Z\mid Z=Z^T\geq 0, \mathbf{Tr}F_iZ=c_i,\;i=1,2,\cdots,m\}. \end{aligned} d∗:=sup{−TrF0​Z∣Z=ZT≥0,TrFi​Z=ci​,i=1,2,⋯,m}.​
同样由 (3) 得
$$d^{\ast }\le c^{T}x.$$
我们试图寻找 $q^{\ast }$ 与 $d^{\ast }$ 之间的联系. 为此, 令 ${\mathbf{X}}_{opt},{\mathbf{Z}}_{opt}$ 分别为原始, 对偶问题的最优解, 即 X o p t ≔ { x ∣ F ( x ) ≥ 0    a n d    c T x = p ∗ } , Z o p t ≔ { Z ∣ Z = Z T ≥ 0 ,    T r F i Z = c i ,   i = 1 , 2 ⋯   , m ,    a n d    − T r F o Z = d ∗ } . \begin{aligned} \mathbf{X}_{opt}&\coloneqq \{x\mid F(x)\geq 0\;and\;c^Tx=p^*\},\\ \mathbf{Z}_{opt}&\coloneqq \{Z\mid Z=Z^T\geq 0,\;\mathbf{Tr}F_iZ=c_i,\,i=1,2\cdots,m, \; and\;-\mathbf{Tr}F_oZ=d^*\}. \end{aligned} Xopt​Zopt​​:={x∣F(x)≥0andcTx=p∗},:={Z∣Z=ZT≥0,TrFi​Z=ci​,i=1,2⋯,m,and−TrFo​Z=d∗}.​
我们有如下定理:
设 $q^{\ast },d^{\ast }$ 分别如前定义, 则 $p^{\ast }=d^{\ast }$, 如果下面两个条件之一成立:

• 原始问题 (1) 是严格可行的, 即存在 $x$ s.t. $F(x)>0$;
• 对偶问题 (2) 是严格可行的, 即存在 $$Z=Z^T\ge 0,;\mathbf{T}\mathbf{r}{F}_{i}Z=c_1,i=1,2,\cdots ,m.$$如果两个条件均成立, 则 ${\mathbf{X}}_{opt},{\mathbf{Z}}_{opt}$ 非空.

另外, 值得一提的是, 如果最优集合非空, 即存在可行点 $x,Z$ 使得$$\begin{array}{r}{c}^{T}x=-\mathbf{T}\mathbf{r}{F}_{0}Z=p^{\ast }=d^{\ast },\end{array}$$
此时对偶间隔 $\eta =\mathbf{T}\mathbf{r}F(x)Z=c^{T}x+\mathbf{T}\mathbf{r}{F}_{0}Z=p^{\ast }-d^{\ast }=0,$ 这便意味着原始问题与对偶问题某种意义上等价. 在实际计算中, 我们通过描述对偶间隔来衡量这两个问题的差异性.
间隔}来衡量这两个问题的差异性.\
假定有一个算法可以产生一系列的原始对偶可行点 $x^{(k)},Z^{(k)},$ 其中 $k=0,1,\cdots$ 为迭代次数. 我们将 $x^{(k)}$ 看作给出下界的次优解, $Z^{(k)}$ 看作给出下界的凭证, 即
$$\begin{array}{r}{p}^{\ast }\le c^T{x}^{(k)},p^{\ast }\ge -\mathbf{T}\mathbf{r}{F}_0{Z}^{(k)}.\end{array}$$ 因而有$$\begin{array}{r}{c}^T{x}^{(k)}-p^{\ast }\le {\eta }^{(k)}=c^T{x}^{(k)}+\mathbf{T}\mathbf{r}{F}_0{Z}^{(k)}.\end{array}$$
也就是说, 当 ${\eta }^{(k)}\to 0$ 时, 我们便可把 $x^{(k)}$ 看作原始问题(1) 的最优解的逼近. 那么关键的问题就是, $\text{如何寻找一个满足条件的原始对偶算法呢}?$
或者说, 如何求解下述问题?$$\begin{array}{ll}\min & c^{T}x+\mathbf{T}\mathbf{r}{F}_{0}Z\\ s.t.& F(x)\ge 0,Z\ge 0,\\ & \mathbf{T}\mathbf{r}{F}_{i}Z=c_i,i=1,2,\cdots ,m.\end{array}$$

中心路径

在解决上述问题(\ref{12}) 之前, 我们先做一些准备. 对于线性矩阵不等式 $F(x)\ge 0$, 我们定义其障碍函数$\varphi (x)$
$$\Phi (x):=\{\begin{array}{cc}\log \det F(x{)}^{-1},& ifF(x)>0,\\ +\infty ,& otherwise.\end{array}$$
经计算有，$\varphi (x)$ 的梯度与 Hessian 为
$$\begin{array}{rl}(\nabla \varphi (x){)}_i& =-\mathbf{T}\mathbf{r}F(x{)}^{-1}{F}_i\\ ({\nabla }^2\varphi (x){)}_{ij}& =\mathbf{T}\mathbf{r}F(x{)}^{-1}{F}_{i}F(x{)}^{-1}{F}_j\end{array}$$
令 X = { x ∣ F ( x ) > 0 } , \mathbf{X}=\{x\mid F(x)>0\}, X={x∣F(x)>0}, 假设 $X$ 是有界的, 因为 $\varphi$ 是严格凸的, 其有唯一的极小值点, 不妨记为 $x^{\ast }$, 即
$$\begin{array}{r}{x}^{\ast }:=argmin\varphi (x).\end{array}$$
我们称 $x^{\ast }$ 是线性矩阵不等式 $F(x)\ge 0$ 的解析中心(Analytic center). 容易证明 $x^{\ast }$ 有下述性质($\nabla \varphi (x)=0$)
$$\mathbf{T}\mathbf{r}F(x^{\ast }{)}^{-1}{F}_i=0,i=1,2,\cdots ,m.$$给定障碍函数 $\varphi (x),$ 我们可以利用标准的 Newton 法来计算其解析中心 $x^{\ast }.$ 我们有如下定理:
假定 $ϵ\in (0,0.5),x^{(k)}$ 是 $x^{(0)}$ 通过 Newton 法 $k$ 次迭代后得到的值, 则对于任意满足下式的 $k$$$\begin{array}{r}k\ge 11(\varphi (x^{(0)})-\varphi (x^{\ast }))+{\log }_2{\log }_2\left(\frac{1}{ϵ}\right),\end{array}$$ 我们有 $\varphi (x^{(k)})-\varphi (x^{\ast })\le ϵ.$
让我们回到原始问题(1), 考虑如下线性矩阵不等式
$$\begin{array}{r}F(x)>0,\\ c^{T}x=\gamma .\end{array}$$
此问题对应的解析中心 $x^{\ast }(\gamma )$ 满足
$$\begin{array}{rlr}{x}^{\ast }(\gamma ):=& argmin& \log \det F(x{)}^{-1}\\ & s.t.& F(x)>0,\\ & & c^{T}x=\gamma .\end{array}$$
称 $x^{\ast }(\gamma )$ 为问题 (\ref{problem1}) 的中心路径(central path).
考虑上述问题 (2) 的 KKT 条件, 我们有
$$\begin{array}{r}\mathbf{T}\mathbf{r}F(x^{\ast }(\gamma ){)}^{-1}{F}_i=\lambda c_i,i=1,2,\cdots ,m.\end{array}$$当 $\lambda >0$ 时, 容易知矩阵 $F(x^{\ast }(\gamma ){)}^{-1}/\lambda$ 是对偶可行的, 此时与原始对偶可行有关的对偶间隔为$$\begin{array}{r}\eta =\mathbf{T}\mathbf{r}F(x)Z={\mathbf{x}}^{\ast }(\gamma )F(x^{\ast }(\gamma ){)}^{-1}/\lambda =n/\lambda .\end{array}$$事实上, $F(x^{\ast }(\gamma ){)}^{-1}/\lambda$ 不仅是对偶可行的, 它还是下述对偶半正定规划问题的中心路径$$\begin{array}{ll}\min & \log \det Z^{-1}\\ s.t.& \mathbf{T}\mathbf{r}{F}_{i}Z=c_i,i=1,2,\cdots ,m,\\ & Z>0,\\ & -\mathbf{T}\mathbf{r}{F}_{0}Z=\gamma -\frac{n}{\lambda }.\end{array}$$对每个严格可行点 $x$, 我们定义中心路径偏差(the deviation from the central path )$\Psi (x)$为$$\begin{array}{r}\Psi (x):=\log \det F(x{)}^{-1}-\log \det F(x^{\ast }(c^{T}x){)}^{-1}.\end{array}$$
取 $ϵ=2^{-32},$ 结合Theorem2, 我们有$$\begin{array}{rl}\#Newtonsteps& \le 5+11(\log \det F(x{)}^{-1}-\log \det F(x^{\ast }(c^{T}x){)}^{-1})\\ & =5+11\psi (x).\end{array}$$
中心路径 ($x^{\ast }(\eta ),Z^{\ast }(\eta )$) 的原始对偶参数化可以被如下定义:$$\begin{array}{lll}(x^{\ast }(\eta ),Z^{\ast }(\eta )):=& argmin& -\log \det F(x)-\log \det Z\\ & s.t.& F(x)>0,Z>0,\\ & & \mathbf{T}\mathbf{r}{F}_{i}Z=c_i,i=1,2,\cdots ,m,\\ & & c^{T}x+\mathbf{T}\mathbf{r}{F}_{0}Z=\eta \end{array}$$
容易知道, $(x^{\ast }(\eta ),Z^{\ast }(\eta ))$ 具有如下性质:
$$\begin{array}{rl}& F(x^{\ast }(\eta ))\ge 0,\\ & Z^{\ast }(\eta )\ge 0,\mathbf{T}\mathbf{r}{F}_i{Z}^{\ast }(\eta )=c_i,i=1,2,\cdots ,m,\\ & Z^{\ast }(\eta )F(x^{\ast }(\eta ))=\left(\frac{\eta }{n}\right)I.\end{array}$$最优性条件 $ZF(x)=0$ 经过扰动变为了 $ZF(x)=(\eta /n)I$ 那么有 $\eta \to 0,(x^{\ast }(\eta ),Z^{\ast }(\eta ))\to (x^{\ast },Z^{\ast }).$ 又因为
$$\begin{array}{r}-\log \det F(x^{\ast }(\eta ))Z^{\ast }(\eta )=-n\log \left(\frac{\eta }{n}\right)=n\log n-n\log \mathbf{T}\mathbf{r}F(x)Z.\end{array}$$ $(x^{\ast }(\eta ),Z^{\ast }(\eta ))$ 与 $(x,Z)$ 之间的中心偏差为
$$\begin{array}{rl}\psi (x,Z)& :=-\log \det F(x)Z+\log \det F(x^{\ast }(\eta )Z^{\ast }(\eta ))\\ & =-\log \det F(x)Z+n\log \mathbf{T}\mathbf{r}F(x)Z-n\log n.\end{array}$$

原始对偶问题势函数下降方法

定义如下势函数(Potential function)$$\begin{array}{rl}\varphi (x,Z)& =\nu \sqrt{n}\log (\mathbf{T}\mathbf{r}F(x)Z)+\psi (x,Z)\\ & =(n+\nu \sqrt{n})\log (\mathbf{T}\mathbf{r}F(x)Z)-\log \det F(x)-\log \det Z-n\log n.\end{array}$$
此处, $\varphi$ 是 $(x,Z) $ 对偶间隔与中心偏差的组合, 其中 $\nu \ge 1$ 是参数. 所以 $\varphi (x,Z)$ 便可以很好地衡量 $(x^{\ast }(\eta ),Z^{\ast }(\eta ))$ 到精确解 $(x^{\ast },Z^{\ast })$ 的距离. 也就是说,
求解原始问题 (1) 与对偶问题(2), 可以转化为极小化对偶间隔和中心偏差, 进而转化为极小化势函数 $\varphi (\mathbf{x},\mathbf{Z})$.
势函数下降算法从严格可行点 $x^{(0)},Z^{(0)}$ 出发, 每步迭代减少固定的常数, 即
$$\begin{array}{r}\varphi (x^{(k+1)},Z^{(k+1)})\le \varphi (x^{(k)},Z^{(k)})-\delta ,\end{array}$$
其中 $\delta $ 是一个常数. 那么它的收敛情况呢? 我们有如下定理:
假定上式对常数 $\delta$ 成立, 其中 $\delta$ 不依赖于 $n,ϵ$, $ϵ\in (0,1).$ 那么对任意满足如下条件的 $k$$$\begin{array}{r}k\ge \frac{\nu \sqrt{n}\log (1/ϵ)+\psi (x^{(0)},Z^{(0)})}{\delta },\end{array}$$ 我们有 $\mathbf{T}\mathbf{r}F(x^{(k)})Z^{(k)}<ϵ\mathbf{T}\mathbf{r}F(x^{(0)})Z^{(0)}.$
下面我们便来具体探讨如何极小化势函数 $\varphi (x).$
极小化$\varphi (x)$, 便要寻找线搜索方向$\delta x,\delta z$.文章中介绍了三种求解搜索方向的方法, 此处我们只选取第一种方法, 也是最显然的方法 —— Newton 法
注意到 $\varphi (x)$ 不是凸函数, 它的第一项 $(n+\nu \sqrt{n})\log (c^{T}x+\mathbf{T}\mathbf{r}{F}_{0}Z)$ 是凹函数, 故我们取 $\varphi (x)$ 的二阶导数时忽略第一项的二阶导数, 也即修正的 Newton 方法. 具体计算过程我们不再给出, 只给出最后结果.
令 $\rho =(n+\nu \sqrt{n})/(c^{T}x+\mathbf{T}\mathbf{r}{F}_{0}Z),$ 则 $\delta x^p$ 可从如下方程中得出$$\begin{array}{r}F\delta Z^{p}F+\sum _{i=1}^m\delta x_i^p{F}_i=-\rho FZF+F,\\ \mathbf{T}\mathbf{r}{F}_j\delta Z^p=0,j=1,2,\cdots ,m.\end{array}$$
$\delta Z^d$ 可从如下方程得出:$$\begin{array}{r}{Z}^{-1}\delta Z^d{Z}^{-1}+\sum _{i=1}^m\delta x_i^d{F}_i=-\rho F+Z^{-1},\\ \mathbf{T}\mathbf{r}{F}_j\delta Z^d=0,j=1,2,\cdots ,m.\end{array}$$在确立了搜索方向 $\delta x,\delta Z$ 之后, 我们可以通过平面搜索(Plane Search)来确定对应的步长. 具体而言, $$\begin{array}{rl}\varphi (x+p\delta x,Z+q\delta Z)& =\varphi (x,Z)+(n+\nu \sqrt{n})\log (1+c_{1}p+c_{2}q)\\ & -\log \det (I+\rho F^{-1/2}\delta F{F}^{-1/2})-\log \det (I+q{Z}^{-1/2}\delta Z{Z}^{-1/2}),\end{array}$$
\end{equation}
其中 $F=F(x),\delta F:={\sum }_{i=1}^m\delta x_i{F}_i,$
$$c_1=\frac{c^T\delta x}{\mathbf{T}\mathbf{r}\mathbf{F}(\mathbf{x})\mathbf{Z}},c_2=\frac{\mathbf{T}\mathbf{r}{F}_0\delta Z}{\mathbf{T}\mathbf{r}F(x)Z}.$$
记 ${\mu }_1,\cdots ,{\mu }_n$ 是矩阵 $F^{-1/2}\delta F{F}^{-1/2}$ 的特征值, ${\nu }_1,\cdots ,{\nu }_n$ 是 $Z^{-1/2}\delta Z{Z}^{-1/2}$ 的特征值. 则$$\begin{array}{l}\varphi (x+p\delta x,Z+q\delta Z)=\varphi (x,Z)\\ +(n+\mu \sqrt{n})\log (1+c_{1}p+c_{2}q)-{\sum }_{i=1}^n\log (1+p{\mu }_i)-{\sum }_{i=1}^n\log (1+q{\nu }_i).\end{array}$$
此问题可以被标准的 guarded Newton 方法解决.
至此，我们便介绍完了文章的主要内容.(Markdown能不能直接插入定理环境呢？这样的定理不太美观)。