非线性优化-拉格朗日乘子法

$主要摘自《非线性优化》$
\qquad 优化问题通常会分为有约束和无约束两类，考虑到这种结构，通过引入一些辅助变量，即拉格朗日乘子，获得一组复杂的最优化条件。

等式约束优化问题

\qquad 考虑等式约束的优化问题
$$\begin{gathered} minimizef(x) \\ subjectto{h}_i(x)=0 \end{gathered}$$

\qquad 上图中，$g(x,y)=c$为约束条件，$f(x,y)$为目标函数。由此可得目标函数和约束函数的梯度关系为
$$\nabla f(x^{\ast })+\sum _{i=1}^m{\lambda }_i\nabla h_i(x^{\ast })=0$$$其中\lambda$非负。
\qquad 拉格朗日乘子定理的必要条件为： 如果$x^{\ast }$是函数$f$在$h(x)=0$条件下的局部最小值点，假定约束梯度$\nabla h_1(x),...,\nabla h_m(x)$线性无关，那么存在唯一向量${\lambda }^{\ast }=({\lambda }_1^{\ast },...,{\lambda }_m^{\ast })$，即为拉格朗日乘子，使得
$$\nabla f(x^{\ast })+\sum _{i=1}^m{\lambda }_i\nabla h_i(x^{\ast })=0$$进一步如果$f$和$h$二次连续可微，则有(二阶必要性条件)
$$y^{{}^{\prime }}({\nabla }^{2}f(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }{\nabla }^2{h}_i(x))y\ge 0y\in V(x^{\ast })$$其中，$y$是变分，$V(x^{\ast })$为一阶可行变子空间，即
V ( x ∗ ) = { y ∣ ∇ h i ( x ) ′ y = 0 ,   i = 1 , . . . , m } V(x^{*})=\{y|\nabla h_{i}(x)^{'}y=0,\ i=1,...,m\} V(x∗)={y∣∇hi​(x)′y=0, i=1,...,m} \qquad 对可行域上一点进行泰勒展开$h(x^{\ast }+y)=h(x^{\ast })+\nabla h(x^{\ast }{)}^{{}^{\prime }}y+o(y)$，由等式约束条件得$\nabla h_i(x^{\ast }{)}^{{}^{\prime }}y=0$。

不等式约束优化问题

\qquad 不等式约束问题如下：
$$\begin{gathered} minimizef(x) \\ subjectto{h}_1(x)=0,...,h_m(x)=0, \\ {g}_1(x)\le 0,...,g_r(x)\le 0 \end{gathered}$$对任意的可行点$x$，积极的不等式约束集为
A ( x ) = { j ∣ g j ( x ) = 0 } A(x)=\{j|g_{j}(x)=0\} A(x)={j∣gj​(x)=0} \qquad 如果$j\notin A(x)$，那么我们称第$j$个约束在$x$点处是非积极的。拉格朗日函数可以定义为：
$$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{j=1}^r{\mu }_j{g}_j(x)$$ \qquad 其中，局部最小值为$L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=f(x^{\ast })+{\sum }_{i=1}^m{\lambda }_i^{\ast }{h}_i(x^{\ast })+{\sum }_{j=1}^r{\mu }_j^{\ast }{g}_j(x^{\ast })$，在具有不等式约束的优化问题中。当最优点$x^{\ast }$在不等式约束边界内时，${\mu }^{\ast }=0\forall j\notin A(x^{\ast })$。当最优点$x^{\ast }$在不等式约束边界上时，$g_i^{\ast }(x)=0\forall j\in A(x^{\ast })$(一二阶必要性条件和可行变分子空间同上)。(KKT必要性条件)
\qquad 条件中对所有的$j\notin A(x^{\ast })$，均有${\mu }_j^{\ast }=0$，其可简写为
$${\mu }^{\ast }{g}_i(x^{\ast })=0,j=1,...,r$$称为互补松弛条件，来源于对于任意的$j$，要么约束$g_j(x^{\ast })\le 0$被松弛为$g_i(x)<0$，拉格朗日乘子${\mu }_j^{\ast }\ge 0$只能取${\mu }_j^{\ast }=0$，要么反之。