多个约束的lagrange multiplier证明.

UTF8gbsn

前面我们介绍了lagrange multiplier. 在单constraint的时候该怎么办.

$$\begin{array}{rl}& f(x),x\in R^n\\ & g(x)=0,x\in R^n\end{array}$$

$$L(x,\lambda )=f(x)-\lambda g(x),(x,\lambda )\in R^{n+1}$$

对$(x,\lambda )$求导, 得出稳定点, 最终求得极值.

多约束lagrange multiplier

现在假设我们的条件变了变成了下面的问题

$$\begin{array}{rl}& f(x),x\in R^n\\ & g_i(x)=0,x\in R^n,i\in (1,2,\cdots ,K)\end{array}$$

也就是说, 我们有$K$个约束条件.

proof

我们如何来证明这个多约束问题呢?
我们可以肯定的是最优化点$x^{\ast }$一定处在所有约束面上.
假设总的约束面为 C = { g 1 ( x ) = 0 , g 2 ( x ) = 0 , ⋯   , g K ( x ) = 0 } C=\{g_1(x)=0, g_2(x)=0, \cdots, g_K(x)=0\} C={g1​(x)=0,g2​(x)=0,⋯,gK​(x)=0}.
也就是说$x^{\ast }\in C$.
又因为总的约束面在点$x^{\ast }$的法向量一定是 { ∇ g 1 ( x ) , ∇ g 2 ( x ) , ⋯   , ∇ g K ( x ) } \{\nabla g_1(x), \nabla g_{2}(x), \cdots, \nabla g_{K}(x)\} {∇g1​(x),∇g2​(x),⋯,∇gK​(x)}
的线性组合.
$$v(x^{\ast })={\lambda }_1\nabla g_1(x^{\ast })+{\lambda }_2\nabla g_2(x^{\ast })+\cdots +{\lambda }_K\nabla g_K(x^{\ast })=\nabla f(x^{\ast })$$

总结

那么这个乘数法为

$$L(x,\lambda )=f(x)-\sum _{i=1}^K{\lambda }_i{g}_i(x)$$

求导,求得稳定点,然后取极值即可.

本文不太严谨和详细, 如果需要严谨和更详细的证明请参考我的另一篇文章!!

更详细更严谨的证明