拉格朗日乘子法详解

• 引言

  优化问题，是生活中常见问题，比如建筑美学中黄金比例1.618可以取得最佳的视觉效果；建筑实用角度来看古堡大都修建成原型外观，也是因为圆形比其他形状在等周长下可用面积最大¹。

  现实中的优化，大多会拖个尾巴（限制条件），求解约束下的优化，可成为约束极值问题。拉格朗日乘子法是其中一种解决方案。

• 优化问题数学分类

  通常，需要求解的优化问题有如下几类：

  1. 无约束优化问题，写为
     $$minf(x)$$
     解决方案：求导

  2. 有等式约束的优化问题，写为
     $$\begin{gathered} minf(x) \\ s.t.h_i(x)=0;i=1,2,...,n \end{gathered}$$
     解决方案：拉格朗日乘子法（Lagrange Multipliers Method）
     $$L(a,x)=f(x)+a\ast h(x)$$

  3. 有不等式约束的优化问题，写为
     $$\begin{gathered} minf(x) \\ s.t.h_i(x)=1,2,...,n \\ {g}_i(x)<=0;i=1,2,...,m \end{gathered}$$
     解决方案：KKT条件下的拉格朗日乘子法。
     $$L(x,w,\gamma )=f(x)+w^{T}h(x)+{\gamma }^{T}g(x)$$
     $KKT$条件要求，所得$x$需要满足

     1. $L(x,w,\gamma )$对$x$求导为0
     2. $h(x)=0$
     3. $a\ast g(x)=0$

• Reference

---

1. 王关琳；优化问题中新的增广拉格朗日乘子法；河南科技大学 （错误比较多） ↩︎