【计算机数学】二次规划（QP）问题

非线性最优化

最优化的问题的一般形式是：
$$\mathrm{Min}f(\mathbf{x})\text{ s.t. }\mathbf{x}\in X$$
$f(\mathbf{x})$为目标函数，$\mathbf{x}\in E^n$为可行域。如果$\mathbf{x}=E^n$，则以上最优化问题为无约束最优化问题。

约束最优化问题通常写为：
$$\begin{array}{l}\mathrm{Min}f(\mathbf{x})\\ \\ \text{ s.t. }{\mathrm{c}}_i(\mathbf{x})=0,i\in E\\ \\ {\mathrm{c}}_i(\mathbf{x})\ge 0,i\in I\end{array}$$
其中$E,I$分别为等式约束的指标集和不等式约束的指标集，$c_i(\mathbf{x})$是约束函数。

无约束二次最优化

$$\min f(\mathbf{x})=1/2{\mathbf{x}}^{\mathrm{T}}H\mathbf{x}+{\mathbf{c}}^{\mathrm{T}}\mathbf{x},\mathbf{x}\in R^n$$
$H$是对称矩阵。
基本解法：求导然后找局部极值。

二次规划的一般形式

$$\begin{array}{rl}& \min f(\mathbf{x})=1/2{\mathbf{x}}^{\mathrm{T}}H\mathbf{x}+{\mathbf{c}}^{\mathrm{T}}\mathbf{x},\mathbf{x}\in R^n\\ & \\ & \text{ s.t. }A\mathbf{x}\le \mathbf{b}\end{array}$$
当$H$为对称矩阵时，被称为二次规划（Quadratic Programming，QP）。
特别地，当H正定时，目标函数为凸函数，线性约束下可行域又是凸集。上式被称为凸二次规划。
问题（1）：
$$\begin{array}{l}\min f(\mathbf{x})=1/2{\mathbf{x}}^{\mathrm{T}}H\mathbf{x}+{\mathbf{c}}^{\mathrm{T}}\mathbf{x},\mathbf{x}\in R^n\\ \\ \text{ s.t. }{\mathbf{a}}_i^T\mathbf{x}\ge b_i,i\in I\\ \\ {\mathbf{a}}_i^T\mathbf{x}=b_i,i\in E\end{array}$$

二次规划的性质

QP是一种最简单的非线性规划。QP有如下良好的性质，当H是半正定时：

• K-T条件是最优解的充要条件。
• 局部最优解就是全局最优解。

等式约束下的二次规划

问题（2）：$$\begin{array}{rl}& \min f(\mathbf{x})=1/2{\mathbf{x}}^{\mathrm{T}}H\mathbf{x}+{\mathbf{c}}^{\mathrm{T}}\mathbf{x},\mathbf{x}\in R^n\\ & \text{ s.t. }A\mathbf{x}=\mathbf{b}\end{array}$$
求解方法：Lagrange乘子法，求解以下无约束二次最优化问题。
$$L(\mathbf{x},\lambda )=\frac{1}{2}{\mathbf{x}}^{\mathrm{T}}H\mathbf{x}+{\mathbf{c}}^{\mathrm{T}}\mathbf{x}+{\lambda }^{\mathrm{T}}(A\mathbf{x}-\mathbf{b})$$
令$L(\mathbf{x},\lambda )$对$\mathbf{x},\lambda$的导数为零，得到线性方程组：
$$\begin{array}{rl}& H\mathbf{x}+{\mathbf{c}}^{\mathrm{T}}+A^{\mathrm{T}}\lambda =0\\ & A\mathbf{x}-\mathbf{b}=0\end{array}$$
可解得$\mathbf{x}$，即为上式的解。

凸二次规划的有效集方法

• 直观解释：
  将不起作用的约束去掉，将起作用约束作为等式约束，通过解一系列等式约束的二次规划来实现不等式约束的优化。
• 基本原理：
  若$\mathbf{x}$是问题（1）的最优解，则它也是问题（3）：
  $$\begin{array}{l}\min \frac{1}{2}{\mathbf{x}}^{\mathrm{T}}H\mathbf{x}+{\mathbf{c}}^{\mathrm{T}}\mathbf{x}\\ \\ \text{ s.t. }{\mathbf{a}}_i^{\mathrm{T}}\mathbf{x}=b_i,i\in I\end{array}$$的最优解，其中$I$是起作用约束指标集（有效集）。反之，若$\mathbf{x}$是问题（1）的可行解，又是（3）的K-T点，且相应的乘子${\lambda }_i\ge 0$，则$\mathbf{x}$是问题（1）的最优解。

算法步骤（迭代法）：

• 设当前迭代点为${\mathbf{x}}_k$，它也是（1）的可行解。该点的有效集记作$I_k$，为寻求${\mathbf{x}}_k$点的迭代方向$\mathbf{d}$，用乘子法求解
  $$\begin{array}{l}\min \frac{1}{2}{\left({\mathbf{x}}_k+\mathbf{d}\right)}^{\mathrm{T}}H\left({\mathbf{x}}_k+\mathbf{d}\right)+{\mathbf{c}}^{\mathrm{T}}\left({\mathbf{x}}_k+\mathbf{d}\right)\\ \\ \text{ s.t. }{\mathbf{a}}_i^{\mathrm{T}}\mathbf{d}=0,i\in I_k\end{array}$$
  • 若所得最优值${\mathbf{d}}_k=0$，则${\mathbf{x}}_k$是（3）的最优解。
    • 为判断它是否（1）的最优解，考察对应于有效约束的乘子${\lambda }_i\ge 0$是否成立。若成立，则${\mathbf{x}}_k$是K-T点，由二次规划性质${\mathbf{x}}_k$是（1）的最优解。
  • 若所得最优值${\mathbf{d}}_k\ne 0$，则取${\mathbf{x}}_{k+1}={\mathbf{x}}_k+\alpha {\mathbf{d}}_k$，在${\mathbf{x}}_{k+1}$为可行点的条件下确定${\mathbf{d}}_k$方向的步长${\alpha }_k$
    • 如果存在$p$不在$I_k$中，使得${\mathbf{a}}_p{\mathbf{x}}_{k+1}={\mathrm{b}}_p$，则将$p$加入有效集
    • 如果存在$I_k$中的指标$q$，使得${\lambda }_i<0$，则${\mathbf{x}}_k$不是最优解，从有效集中去掉q。

可行步长的选取：阻塞约束

$${\alpha }_k=\min \left\{1,\underset{i\notin I_k,{\mathbf{a}}_i^T{\mathbf{d}}_k<0}{\min }\frac{b_i-{\mathbf{a}}_i^T{\mathbf{x}}_k}{{\mathbf{a}}_i^T{\mathbf{d}}_k}\right\}$$
${\alpha }_k=1$时，对应约束集不影响，保持不变
${\alpha }_k<1$时，对应约束称为阻塞约束，此时沿着${\mathbf{d}}_k$运动，会被不在指标集中的约束给阻塞了，约束集因此改变。