等式约束QP命题的求解（Solving equality-constrained QP）

在有效集法（Active Set Method）中，在每次迭代中都要求解一个等式约束的 QP 命题。本文主要对这一问题的求解方法进行关注。此外，本文还会涉及到部分关于 Range Space，Null Space 等内容。主要参考的是 Nocedal 的 Numerical Optimization 一书。

等式约束 QP 命题

这里我们考虑如下的一个等式约束 QP 命题：

$$\begin{align} \min_x \quad &q(x) = \frac12x^TGx+c^Tx \tag{1a} \\ \text{subject to} \quad &Ax = b, \tag{1b}\end{align}$$

其中，$A\in \mathbf R^{m\times n}$ 是等式约束的系数。整个优化命题有 $n$ 个决策变量（优化变量），$m$ 条等式约束（$m\le n$）。写出该优化命题的 Lagrange 多项式为：

$$L= \frac12x^TGx+c^Tx - \lambda^T (Ax-b)$$

其中，$\lambda$ 被称为 Lagrange 乘子，也可以称为对偶变量。由此可以写出其 KKT 条件为：

$$Gx^*+c - A^T\lambda^*=0 \\ Ax^*=b$$

将上式写成矩阵形式为：

$$\begin{bmatrix} G&-A^T \\ A & 0\end{bmatrix}\begin{bmatrix} x^* \\ \lambda^* \end{bmatrix} = \begin{bmatrix} -c \\ b \end{bmatrix}$$

而在实际计算中，我们往往不是直接计算最优点 $x^*$ 而是计算其由某个初始的估计点 $x$ 向最优点前进的一步 $p$，即 $x^*=x+p$ 。因此我们以 $p$ 而不是 $x$ 作为优化变量，可以将上面的方程改写为：

[