二次规划（Lagrange 方法，起作用集方法）

二次规划是非线性规划中一种特殊情形，它的目标函数是二次实函数，约束是线性的。由于二次规划比较简单，便于求解，且一些非线性规划可以转化为求解一系列二次规划问题，因此二次规划算法较早引起人们的重视，成为求解非线性规划的一个重要通径。二次规划的算法较多，本章介绍其中几个典型的方法，它们是 Lagrange 方法，起作用集方法，Lemke 方法和路径路踪法。

一、Lagrange 方法

考虑二次规划问题
$$\begin{array}{rl}& \min \frac{1}{2}{x}^{T}Hx+c^{T}x\\ & s.t.Ax=b\end{array}$$

其中，$H$ 是 $n$ 阶对称矩阵，$A$ 是 $m\times n$ 矩阵，$A$ 的秩为 $m$，$b$ 是 $m$ 维列向量。

通过 Lagrange 乘子法求解：首先定义 Language 函数
$$L(x,\lambda )=\frac{1}{2}{x}^{T}Hx+c^{T}x-{\lambda }^T(Ax-b)$$

令
$${\nabla }_{x}L(x,\lambda )=0,{\nabla }_{\lambda }L(x,\lambda )=0$$

得到方程组
$$\begin{array}{rl}& Hx+c-A^T\lambda =0\\ & -A+b=0\end{array}$$

将此方程组写成
$$\left[\begin{array}{cc}H& -A^T\\ -A& -0\end{array}\right]\left[\begin{array}{c}x\\ \lambda \end{array}\right]=\left[\begin{array}{c}-c\\ -b\end{array}\right]$$

将系数矩阵称为 Lagrange 矩阵。

设上述 Lagrange 矩阵可逆，且为对称矩阵，则其逆矩阵也为对称矩阵，可表示为
$${\left[\begin{array}{cc}H& -A^T\\ -A& -0\end{array}\right]}^{-1}=\left[\begin{array}{cc}Q& -R^T\\ -R& -S\end{array}\right]$$

由可逆矩阵性质，即
$$\left[\begin{array}{cc}H& -A^T\\ -A& -0\end{array}\right]\left[\begin{array}{cc}Q& -R^T\\ -R& -S\end{array}\right]=I_{m+n}$$

推得
$$\begin{array}{rl}& HQ+A^{T}R=I_n\\ & H{R}^T+(A^{T}S)=0_{n\times m}\\ & AQ=0_{m\times n}\\ & A{R}^T=I_m\end{array}$$

假设矩阵 $H$ 可逆，则可以得到矩阵 $Q,R,S$ 的表达式
$$\begin{array}{rl}& Q=H^{-1}-H^{-1}{A}^T(A{H}^{-1}{A}^T{)}^{-1}A{H}^{-1},\\ & R=(A{H}^{-1}{A}^T{)}^{-1}A{H}^{-1},\\ & S=-(A{H}^{-1}{A}^T{)}^{-1}\end{array}$$

从而可得问题的解
$$\begin{array}{rl}& x^{\ast }=-Qc+R^{T}b\\ & {\lambda }^{\ast }=Rc-Sb\end{array}$$

二、起作用集方法

1、起作用集方法的分析推导

考虑具有不等式约束的二次规划问题
$$\begin{array}{rl}& \min f(x)=\frac{1}{2}{x}^{T}Hx+c^{T}x\\ & s.t.Ax\ge b\end{array}$$

其中，$H$ 是 $n$ 阶对称正定矩阵，$A$ 是 $m\times n$ 矩阵，$A$ 的秩为 $m$，$b$ 是 $m$ 维列向量。

由于不等式约束的存在，不能直接用 Lagrange 方法求解，因此需将它转化为求解等式约束问题。运用起作用集方法，在每次追代中，以已知的可行点为起点，把在该点起作用约束作为等式约束，在此约束下极小化目标函数 $f(x)$，而其余的约束暂且不管。求得新的比较好的可行点后，再重复以上做法，下面加以具体分析。

设在第 $k$ 此迭代中，已知可行点 $x^{(k)}$，在该点起作用约束指标集用 $I^{(k)}$ 表示。这时需要求解等式约束
$$\begin{array}{rl}& \min f(x)=\frac{1}{2}{x}^{T}Hx+c^{T}x\\ & s.t.a^{i}x=b_i,i\in I^{(k)}\end{array}$$

其中 $a^i$ 是矩阵 $A$ 的第 $i$ 行。

为方便起见，现将坐标原点移至 $x^{(k)}$，令
$$\delta =x-x^{(k)}$$

则
$$\begin{array}{rl}f(x)& =\frac{1}{2}(\delta +x^{(k)}{)}^{T}H(\delta +x^{(k)})+c^T(\delta +x^{(k)})\\ & =\frac{1}{2}{\delta }^{T}H\delta +{\delta }^{T}H{x}^{(k)}+\frac{1}{2}{x^{(k)}}^{T}H{x}^{(k)}+c^T\delta +c^T{x}^{(k)}\\ & =\frac{1}{2}{\delta }^{T}H\delta +\nabla f(x^{(k)}{)}^T\delta +f(x^{(k)})\end{array}$$

于是问题转化为求校正量 ${\delta }^{(k)}$ 的问题
$$\begin{array}{rl}& \min \frac{1}{2}{\delta }^{T}H\delta +\nabla f(x^{(k)}{)}^T\delta \\ & s.t.a^i\delta =0,i\in I^{(k)}\end{array}$$

解二次规划，求出最优解 ${\delta }^{(k)}$，然后区别不同情形，决定下面应采取的步骤。

• 如果 $x^{(k)}+{\delta }^{(k)}$ 是可行点，且 ${\delta }^{(k)}\ne 0$，则在第 $k+1$ 次迭代中，已知点取作 $x^{(k+1)}=x^{(k)}+{\delta }^{(k)}$。
• 如果 $x^{(k)}+{\delta }^{(k)}$ 不是可行点，则沿方向 $d^{(k)}={\delta }^{(k)}$ 搜索，令
  $$x^{(k+1)}=x^{(k)}+a_k{d}^{(k)}$$

现在分析怎样确定步长 $a_k$，根据保持可行性的要求，其应满足
$$a^i(x^{(k)}+a_k{d}^{(k)})\ge b_i,i\notin I^{(k)}$$

由于 $x^{(k)}$ 是可行点，即 $a^i{x}^{(k)}\ge b_i$，因此
当 $a^i{d}^{(k)}\ge 0$ 时，对于任意非负数 $a_k$，上式总成立；
当 $a^i{d}^{(k)}<0$ 时，只要取正数
$$a_k\le \underset{{\hat{a}}_k}{\underbrace{\min \left\{\frac{b_i-a^i{x}^{(k)}}{a^i{d}^{(k)}}\right|i\notin I^{(k)},a^i{d}^{(k)}<0\}}}$$

为了在第 $k$ 次迭代中得到较好可行点，应取
a k = min ⁡ { 1 , a ^ k } , a_k=\min\lbrace1,\hat a_k\rbrace, ak​=min{1,a^k​},

并令
$$x^{(k+1)}=x^{(k)}+a_k{d}^{(k)}$$

如果
$$a_k=\frac{b_p-a^p{x}^{(k)}}{a^p{d}^{(k)}}<1$$

则在点 $x^{(k+1)}$，有
$$a^p{x}^{(k+1)}=a^p(x^{(k)}+a_k{d}^{(k)})=b_p$$

因此，在 $x^{(k+1)}$ 处，$a^p{x}^{(k)}\ge b_p$ 为起作用约束。这时，把指标 $p$ 加入 $I^{(k)}$，得到在 $x^{(k+1)}$ 处的起作用约束指标集 $I^{(k+1)}$。