多个等式束的拉格朗日乘子问题(详细证明)

UTF8gbsn

多约束的拉格朗日乘子问题.

$$\begin{array}{rl}& f(x)\\ & h_1(x)=0\\ & ⋮\\ & h_m(x)=0\end{array}$$

假设这个问题的解是$x^{\ast }$. 那么, 以下命题成立
$$\nabla f(x^{\ast })=\sum _{i=1}^m{\lambda }_i\nabla h_i(x^{\ast })$$

接下来, 我们就要来证明这个命题.

证明:

假设所有约束条件的相交部分组成一个hypersurface $S$. 并且$x^{\ast }$是 $S$
上的一点. 接下来先来证明$\nabla f(x^{\ast })$ 垂直于过点$x^{\ast }$,
$S$的切平面$T$. 假设$x(t)$是$S$上任意一条曲线,
切满足$x(0)=x^{\ast }$.那么可得.

$$\begin{array}{rl}& f(x)=f(x(t))\\ & f(x^{\ast })=f(x(0))\\ & \nabla f(x^{\ast })=\nabla f(x^{\ast })\cdot \nabla x(0)=0\end{array}$$

最后一个等式之所以是0, 是因为对于一元可导函数$f(x(t))$来说,
极值点的导数为0. 又因为$x(t)$为任意曲线. 所以$\nabla f(x^{\ast })$
垂直于过点$x^{\ast }$, $S$的切平面$T$.

• 至此我们证明了 $\nabla f(x^{\ast })$ 垂直于切平面 $T$

接下来, 我们需要设一个假设,
也就是假设$\nabla h_i(x^{\ast }),i\in 1,2,\cdots ,m$ 线性无关.
我们把这种条件下的极值点$x^{\ast }$叫做regular point.
接下来定义一个集合如下.

M = { y ∣ ∑ i = 1 m y i ∇ h i ( x ∗ ) = 0 ( m ) } , y ∈ R m , ∇ h i ( x ∗ ) ∈ R m , 0 ( m ) ∈ R m M=\{y|\sum_{i=1}^{m}y_i\nabla h_{i}(x^{*})=0^{(m)}\}, y\in R^{m}, \nabla h_{i}(x^{*}) \in R^m, 0^{(m)}\in R^m M={y∣i=1∑m​yi​∇hi​(x∗)=0(m)},y∈Rm,∇hi​(x∗)∈Rm,0(m)∈Rm

接下来, 我们需要证明$T\equiv M$, 如果证明$T\equiv M$,
那么就可以说 ∇ f ( x ∗ ) ∈ s p a n { ∇ h i ( x ∗ ) } , i ∈ { 1 , 2 , ⋯   , m } \nabla f(x^{*})\in span\{\nabla h_{i}(x^{*})\}, i\in \{1,2,\cdots, m\} ∇f(x∗)∈span{∇hi​(x∗)},i∈{1,2,⋯,m},
也就是说$\nabla f(x^{\ast })$可以由 ∇ h i ( x ∗ ) , i ∈ { 1 , 2 , ⋯   , m } \nabla h_{i}(x^{*}), i\in \{1,2,\cdots, m\} ∇hi​(x∗),i∈{1,2,⋯,m}线性表示出来.

$$\nabla f(x^{\ast })=\sum _{i=1}^m{\lambda }_i\nabla h_i(x^{\ast })$$

证明 T=M

还是分两步走$T\subset M$ 和$M\subset T$来证明$T=M$.

$T\subset M$

切平面上的向量, 根据定义必然垂直于约束的表面法向量.
所以可得$T\subset M$.

$M\subset T$

反过来, 现在需要证明对于任意的$y\in M$, 在$S$上存在一条曲线$x(t)$
它在$x^{\ast }$ 处的导数为$y$. 也就是证明$M\subset T$. 现在假设

$$h(x^{\ast }+ty+\nabla h^T(x^{\ast })u(t))=0^{(m)},0^{(m)}\in R^m$$

注意, $\nabla h^T(x^{\ast })$是一个$n\times m$的矩阵,
假设$x\in R^n,u(t)\in R^m$,
现在假设 A = s p a n { ∇ h i ( x ∗ ) , i ∈ { 1 , 2 , ⋯   , m } } A=span\{\nabla h_i(x^{*}), i\in \{1,2,\cdots, m\}\} A=span{∇hi​(x∗),i∈{1,2,⋯,m}},
因为 ∇ h i ( x ∗ ) , i ∈ { 1 , 2 , ⋯   , m } \nabla h_{i}(x^{*}), i\in \{1,2,\cdots, m\} ∇hi​(x∗),i∈{1,2,⋯,m}是线性无关的.
而$M=Null(A)$,可见$rank(A)+rank(M)=n$.即然如此,

$$ty+\nabla h^T(x^{\ast })u(t)\in R^n$$

就可以表示空间中任意的一条向量. 所以取合适的$u(t)\in R^m$, 可使得
$$h(x^{\ast }+ty+\nabla h(x^{\ast }{)}^{T}u(t))=0^m,0^m\in R^m$$ 成立.
下面我们要证明$x^{\ast }+ty+\nabla h(x^{\ast }{)}^{T}u(t)\in S$ 而且其连续可导.

• 先来对 $u$进行求导得 $$\nabla h(x^{\ast })\nabla h(x^{\ast }{)}^T$$

  这个Jacobian矩阵, 是非奇异的. 因为$\nabla h_i(x^{\ast })$线性无关.
  在$t=0$处,有一个解为$u(0)=0$, 由此可见我们可以根据隐函数定理得.
  根据约束方程组$h(x^{\ast }+ty+\nabla h(x^{\ast }{)}^{T}u(t))=0^{(m)},0^{(m)}\in R^m$.
  可得一系列连续可导的方程解$u(t)$, 注意$u(t)$是一个函数向量,
  里面有m个函数.
  这里有一个逻辑就是只要$u(t)$连续可导.那么下面的这条曲线也是连续可导的.
  $$x(t)=x^{\ast }+ty+\nabla h(x^{\ast }{)}^{T}u(t)$$

  并且$x(t)\in S$.

• 因为$h(x^{\ast }+ty+\nabla h(x^{\ast }{)}^{T}u(t))=0^{(m)},0^{(m)}\in R^m$
  是恒等于$0^{(m)}$.所以以下导数成立

  $$0^{(m)}=\nabla h(x(t)){|}_{t=0}=\nabla h(x^{\ast })y+\nabla h(x^{\ast })\nabla h(x^{\ast })u(0)$$

  因为$u(0)=0$, 最后可得

  $$\nabla h(x^{\ast })y=0$$

  对$S$上参数曲线$x(t)=x^{\ast }+ty+\nabla h(x^{\ast }{)}^{T}u(t)$, 求导可得

  $$\dot{\mathbf{x}}(0)=\mathbf{y}+\nabla \mathbf{h}{\left({\mathbf{x}}^{\ast }\right)}^T\dot{\mathbf{x}}(0)=\mathbf{y}$$

最后得证,
$\forall y\in M,\exists x(t)\in S\to \dot{x}(0)=y\Rightarrow M\subset T$
于是原命题$\nabla f(x^{\ast })={\sum }_{i=1}^m{\lambda }_i\nabla h_i(x^{\ast })$得证.

多约束拉格朗日乘子

$$L(x)=f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)$$

求导并令其等于0正好就是我们的原命题要求的点.

$$\nabla f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)=0$$