【OR】二次规划(2)：SCA方法

前文链接

二次规划(1)

线性约束的非凸二次规划

QP问题
$$\begin{array}{rl}& \min \frac{1}{2}{x}^{T}Qx+c^{T}x\\ & s.t.\{\begin{array}{l}{a}_i^T-b_i\le 0,i=1,\dots ,m\\ a_i^x-b_i=0,i=m+1\dots ,m+l\end{array}\end{array}$$
其中$Q$不定

SCA方法

构造凸近似问题
$Q=P-N$，其中$P$和$N$为半正定矩阵
$$Q=H^T\underset{Q}{\underbrace{\left(\begin{array}{cccc}& {\lambda }_1& & \\ & & \ddots & \\ & & & {\lambda }_n\end{array}\right)}}H=H^T\underset{P}{\underbrace{\left(\begin{array}{ccccc}& {\lambda }_1& & & \\ & & \ddots & & \\ & & & {\lambda }_k& \\ & & & & 0\end{array}\right)H}}-H^T\underset{N}{\underbrace{\left(\begin{array}{cccccc}& 0& & & & \\ & & \ddots & & & \\ & & & 0& & \\ & & & & -{\lambda }_{k+1}& \\ & & & & & \ddots \end{array}\right)}}H$$
可以得到
$$\begin{array}{rl}f(x)& =\frac{1}{2}{x}^{T}Qx+c^{T}x\\ & =\frac{1}{2}{x}^{T}Px+c^{T}x-\frac{1}{2}{x}^{T}Nx\end{array}$$
记$f_1(x)=\frac{1}{2}{x}^{T}Px+c^{T}x，f_2(x)=\frac{1}{2}{x}^{T}Nx$，任取$\bar{x}\in S$, 构造$\bar{x}$处的线性函数对$f_2(x)$近似
记一阶Taylor展开
$$\begin{array}{rl}l(x)& =-f_2(\bar{x})-\nabla f_2(x{)}^T(x-\bar{x})\\ & =-\frac{1}{2}{\bar{x}}^{T}N\bar{x}-(N\bar{x}{)}^T(x-\bar{x})\\ & =\frac{1}{2}{\bar{x}}^{T}N\bar{x}-{\bar{x}}^{T}Nx\\ & \ge f_2(x)\end{array}$$
得到$\bar{x}$处的凸近似问题QP($\bar{x}$)
$$\begin{array}{rl}& \min f_1(x)+l(x)=\frac{1}{2}{x}^{T}Px+c^{T}x-{\bar{x}}^{T}Nx+\frac{1}{2}{\bar{x}}^{T}N\bar{x}\\ & s.t.\{\begin{array}{l}{a}_i^{T}x-b_i\le 0,i=1,\dots ,m\\ a_i^{T}x-b_i=0,i=m+1,\dots ,m+l\end{array}\end{array}$$
引理：如果$\bar{x}$是QP($\bar{x}$)的最优解，则$\bar{x}$是QP问题的KKT点.
证明：由于$\bar{x}$是QP($\bar{x}$)的最优解，则$\bar{x}$满足KKT条件
$$\{\begin{array}{rl}& P\bar{x}+c-N\bar{x}+\sum _{i=1}^{m+l}{\lambda }_i{a}_i=0\\ & {\lambda }_i\ge 0,i=1\dots ,m\\ & {\lambda }_i(a_i^T\bar{x}-b_i)=0,i=1,\dots ,m\end{array}$$
即QP问题的KKT条件，所以$\bar{x}$是QP的KKT点.

算法框架

step 0: 取$x^0\in S,\epsilon >0,k=0$.
step 1: 求解近似子问题，QP($x^k$)
$$\min \frac{1}{2}{x}^{T}Px+c^{T}x-(x^k)Nx+\frac{1}{2}(x^k)N{x}^k$$
得到最优解$x^{k+1}$;
step 2: 如果$\Vert x^{k+1}-x^k\Vert \le \epsilon$终止
step 3: k=k+1，转step 1.
性质 1：
$$\begin{array}{rl}& x^k\stackrel{QP(x^k)}{\to }{x}^{k+1}\\ & f(x^{k+1})=f_1(x^{k+1})-f_2(x^{k+1})\le f_1(x^{k+1})+l(x^{k+1})\le f_1(x^k)+l(x^k)=f(x^k)\end{array}$$
性质 2（收敛性）：
1.如果SCA有限步终止，则$x^k$为QP问题的KKT点
2.如果QP$(x^k)$的最优解为$x^{k+1}$，乘子为${\lambda }^k$，设 { λ k } \{\lambda^k\} {λk}有界，则 { x k } \{x^k\} {xk}的任意聚点为QP的KKT点
证明：
由于$x^{k+1}$是QP($x^k$)的最优解，则满足KKT条件：
$$\begin{array}{rl}& P{x}^{k+1}+c-N{x}^k+\sum _{i=1}^{m+l}{\lambda }_i{a}_i=0\\ & {\lambda }_i^k\ge 0,i=1,\dots ,m\\ & {\lambda }_i^k(a_i^T{x}^{k+1}-b_i)=0,i=1,\dots ,m\end{array}$$
设$x^{\ast }$是 { x k } \{x^k\} {xk}的聚点，不妨记为 { x k } , x k → x ∗ \{x^k\}, x^k\to x^* {xk},xk→x∗. 由于 { λ k } \{\lambda^k\} {λk}有界，存在收敛子列 { λ k i } , λ k i → λ ∗ \{\lambda^{k_i}\}, \lambda^{k_i}\to \lambda^* {λki​},λki​→λ∗.
令$k_i\to \infty :$
$$\begin{array}{rl}& P{x}^{\ast }+c-N{x}^{\ast }+\sum {\lambda }_i^{\ast }{a}_i=0\\ & {\lambda }_i^{\ast }\ge 0,i=1,\dots ,m\\ & a_i^T{x}^{\ast }-b_i\le 0,i=1,\dots ,m\\ & a_i^T{x}^{\ast }-b_i=0,i=m+1,\dots ,m+l\end{array}$$
即QP的KKT条件，所以$x^{\ast }$是QP的KKT点.

参考资料

非凸二次规划 上海财经大学 崔雪婷