周志华《机器学习》(西瓜书) ——相关数学知识整理：拉格朗日乘子法与KKT条件

---

0 简介

  在求解最优化问题中，拉格朗日乘子法（Lagrange Multiplier）是一种比较最常用的方法。当求解带不等式约束的最优化问题时，通常会将原问题转化为对偶问题进行求解，这时往往会要求函数满足 KKT 条件。

  这里提到的最优化问题通常是指凸优化问题，即对某一给定的凸函数，求其在指定作用域上的全局最小值（求最大值问题很容易转化成求最小值问题，然后按求最小值问题进行求解）。

  求最优化问题一般会碰到以下三种情况：

1. 无约束条件
2. 等式约束条件
3. 不等式约束条件
   
   

---

1 无约束条件

  首先考虑不带任何约束的优化问题：
$$\underset{\mathbf{x}\in {\mathbb{R}}^n}{\min }f(\mathbf{x})$$

  这是最简单的情况，直接令梯度为零 ${\nabla }_{\mathbf{x}}f(\mathbf{x})=0$ 即可，若没有解析解，可用梯度下降法或者牛顿法进行迭代求解。

---

2 等式约束条件

  当目标函数加上等式约束条件之后，问题变成如下形式：

$$\begin{array}{ll}& {\min }_{\mathbf{x}}f(\mathbf{x})\\ & \\ & \text{s.t.}{h}_i(\mathbf{x})=0，i=1,2,\dots ,m\end{array}$$

  约束条件将解的范围限定在一个可行域内，此时不一定能找到使 ${\nabla }_{\mathbf{x}}f(\mathbf{x})=0$ 的点，这时需要在可行域内找到使 $f(\mathbf{x})$ 取最小值的点，这时常用拉格朗日乘子法，引入拉格朗日乘子 $\mathbf{\alpha }\in {\mathbb{R}}^m$ ，构造拉格朗日函数如下：

$$L(\mathbf{x},\mathbf{\alpha })=f(\mathbf{x})+\sum _{i=1}^m{\alpha }_i{h}_i(\mathbf{x})$$

分别令 $L(\mathbf{x},\mathbf{\alpha })$ 对 $\mathbf{x}$ 和 $\mathbf{\alpha }$ 的梯度为 $0$

$$\{\begin{array}{l}{\nabla }_{\mathbf{x}}L(\mathbf{x},\mathbf{\alpha })=0\\ \\ {\nabla }_{\mathbf{\alpha }}L(\mathbf{x},\mathbf{\alpha })=0\end{array}$$

将求得 $\mathbf{x}$ 、 $\mathbf{\alpha }$ 后将 $\mathbf{x}$ 带回，即得到 $f(\mathbf{x})$ 在 $h_i(\mathbf{x})=0$ 约束下的最小值。

  下图是带一个等式约束条件的优化问题的示例。

$$L(\mathbf{x},\alpha )=f(\mathbf{x})+\alpha h(\mathbf{x})$$

  从图中我们可以看出，只有在 $f(\mathbf{x})$ 和 $h(\mathbf{x})$ 相切的点，才有可能得到满足约束的 $f(\mathbf{x})$ 的极小值，此时 $f(\mathbf{x})$ 和 $h(\mathbf{x})$ 的梯度必定是平行的，即

$${\nabla }_{\mathbf{x}}f(\mathbf{x})=\lambda {\nabla }_{\mathbf{x}}h(\mathbf{x})$$

当我们利用拉格朗日乘子法求

∇ x L ( x , α ) = ∇ x f ( x ) + α ∇ x h ( x ) = 0 \nabla_{\boldsymbol{x}}L(\boldsymbol{x}, \alpha)=\nabla_{\boldsymbol{x}} f(\boldsymbol{x}) + \alpha\nabla_{\boldsymbol{x}}h(\boldsymbol{x})=0 ∇x​L(x,α)=∇x​f(x)+α∇