约束规划问题与凸二次规划

让我首先讨论一下形式的约束规划问题：

$$\begin{split}&\min f(x),&\quad x\in \mathbb{R}^{n} \\ &\text{s. t. }&c_{i}(x)=0,\quad i\in E=\{1,2,\dots, l\}\\ & &c_{i}(x)\leq 0, \quad i\in I=\{l+1,l+2,\dots, l+m\} \end{split}$$

本文中我们不深究一般约束规划问题的最优性性条件的证明，仅给出部分常用定理。 后续我们也仅针对凸优化问题做详细讨论。

基本概念

无约束规划问题的讨论详见此文，这里介绍了局部解与全局解得概念。约束规划问题解得概念与之类似，此处省略。但要注意这里存在可行域的问题。记上述约束规划问题的可行域为：

$$D=\{x | c_{i}(x)=0, i\in E, c_{i}(x)\leq 0, i\in I \}$$

设 $\hat{x}$ 是一般约束问题的可行点，当 $i\in I$ 时，对某个约束，若 $c_{i}(\hat{x})=0$，则称 $c_{i}(\hat{x})\leq 0$ 为 $\hat{x}$ 处的有效约束（active constraint）；若 $c_{i}(\hat{x})<0$ ，则称 $c_{i}(\hat{x})\leq 0$ 为 $\hat{x}$ 处的非有效约束。定义

$$I(\hat{x})=\{i | c_{i}(\hat{x})=0, i\in I\}$$ 为 $\hat{x}$ 处的 有效集（active set）。

局部解的必要条件

一阶必要条件

考虑上述约束规划问题，这里我们假设 $f(x), c_{i}(x), (i=1,2,\dots,l+m)$ 是连续可微函数。由于时间有限，这里对可行点（feasible point）、可行方向（feasible direction）、线性化锥、约束限制条件（constraint qualification）、Farkas引理 等概念、定理不作介绍。我们引进Lagrange函数：

$$L(x,\lambda)=f(x)+\sum_{i=1}^{l+m}\lambda_{i}c_{i}(x)$$ 定理 1（约束问题局部解的一阶必要条件）：
设约束问题中 $f(x), c_{i}(x), (i=1,2,\dots,l+m)$ 具有连续可微的一阶偏导数，若 $x^{*}$ 是该约束问题的局部解，并且在 $x^{*}$ 处约束限制条件成立 1，则存在 $\lambda^{*}=(\lambda_{1}^{*}, \lambda_{2}^{*},\dots, \lambda_{l+m}^{*})^{T}$ 使得：
$$\nabla_{x}L(x^{*}, \lambda^{*})=\nabla f(x^{*})+\sum_{i=1}^{l+m}\lambda_{i}^{*}\nabla c_{i}(x^{*})=0$$ 其中

ci(x