机器学习中的数学——拉格朗日乘子法（二）：不等式约束与KKT条件

分类目录：《算法设计与分析》总目录
相关文章：
·拉格朗日乘子法（一）：等式约束的拉格朗日乘子法
·拉格朗日乘子法（二）：不等式约束与KKT条件

---

现在接着《拉格朗日乘子法（一）：等式约束的拉格朗日乘子法》的思路考虑不等式约束$g(x)\le 0$的情景。如下图所示，此时最优点$x^{\ast }$或在$g(x)<0$的区域中，或在边界$g(x)=0$上。

• $g(x)<0$的情况：约束$g(x)\le 0$不起作用，可直接通过条件$\nabla f(x)=0$来获得最优点。这等价于将$\lambda$置零然后对${\nabla }_{x}L(x,\lambda )$置零得到最优点。
• $g(x)=0$的情况：类似于《拉格朗日乘子法（一）：等式约束的拉格朗日乘子法》中等式约束的分析，但需注意的是，此时梯度$\nabla g(x^{\ast })$的方向和梯度$\nabla f(x^{\ast })$的方向必须相反，即存在常数$\lambda >0$使得$\nabla f(x^{\ast })+\lambda \nabla g(x^{\ast })=0$。
  
  整合这两种情形，必满足入$\lambda g(x)=0$。因此在约束$g(x)\le 0$下最小化$f(x)$，可转化为在如下约束下最小化式的拉格朗日函数：
  $$\{\begin{array}{rl}g(x)& \le 0\\ \lambda & >0\\ {\mu }_j{g}_j(x)& =0\end{array}$$
  上式称为Karush-Kuhn-Tucker(KKT)条件。上述做法可推广到多个约束。考虑具有$m$个等式约束和$n$个不等式约束：
  $$\begin{array}{rl}\underset{x}{\min }& f(x)\\ \text{s.t.}& h_i(x)=0,i=1,2,\cdots ,m\\ & g_j(x)\le 0,j=1,2,\cdots ,n\end{array}$$

引入拉格朗日乘子$\lambda =({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m{)}^T$和$\mu =({\mu }_1,{\mu }_2,\cdots ,{\mu }_n{)}^T$，相应的拉格朗日函数为：
$$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{j=1}^n{\mu }_j{g}_j(x)$$由不等式约束引入的KKT条件：
$$\{\begin{array}{rl}{\nabla }_{X}L(x,\lambda ,\mu )& =\nabla f+{\lambda }_i\nabla h_i+{\mu }_j\nabla g_j=0\\ h_i(x)& =0\\ g_j(x)& \le 0\\ {\mu }_j& \ge 0\\ {\mu }_j{g}_j(x)& =0\end{array}$$

即可求解。