拉格朗日乘子、KKT条件与对偶问题

1. 拉格朗日算子

1.1 基本流程

假设$\mathbf{x}=[x_1,x_2,...,x_d]$，是一个$d$维的向量，$f(x)$和$g(x)$是定义在实数集上连续可微的函数，现在需要找一个$x^{\ast }$使得$f(x)$具有最小值，且$g(x)\le 0$。即有：
$$\begin{array}{r}\underset{x}{\min }f(x)\\ s.t.g(x)\le 0\end{array}\text{\hspace{1em}(1.1)}$$
那么，通过拉格朗日乘子法，可以构造出下面的式子：
$$\begin{array}{r}L(\mathbf{x},w)=f(\mathbf{x})+wg(\mathbf{x})\end{array}\text{\hspace{1em}(1.2)}$$

令$L(\mathbf{x},w)$的对$\mathbf{x}$的导数为0，求解出$x,w$的值，那么，$\mathbf{x}$就是函数$f(\mathbf{x})$在附加条件$g(\mathbf{x})$下可能的极值点。

1.2 理解

第一层理解：

在学高数的时候，对拉格朗日的理解仅限于：构造了一个函数$L(x,y,\lambda )$，对该函数$L(x,y,\lambda )$求极导，令导数为0，可以算出极大值极小值。

第二层理解：

在进行第二层理解时，需要明白几个概念：

• 数学里面，梯度指的是函数变化最快的方向。
• 梯度跟函数约束曲线是垂直的，既然垂直于约束曲面，就一定垂直于等高线。

具体可以参考这篇文章拉格朗日乘子法。该文比较直观的介绍了拉格朗日的基本定理，并且从切线、梯度的角度分析了拉格朗日算子。

---

2. KKT条件

2.1 一个限制条件的情况

看完这个例子之后，在公式(1.2)可能取到的所有点中，的的确确找到了一个${\mathbf{x}}^{\ast }$，使得$f(\mathbf{x})$最小且满足$g(\mathbf{x})\le 0$，在这样的情况下，必然有
$$\begin{array}{r}▽f({\mathbf{x}}^{\ast })+w▽g({\mathbf{x}}^{\ast })=0\end{array}\text{\hspace{1em}(2.1)}$$
而公式(2.1)在某些条件下刚好是公式(1.2)：$L(x,w)=f(\mathbf{x})+wg(\mathbf{x})$对$\mathbf{x}$的偏导数等于$0$的情况。
$$\begin{array}{r}\frac{\partial L(\mathbf{x},w)}{\partial \mathbf{x}}=▽f(\mathbf{x})+w▽g(\mathbf{x})\end{array}$$
那么，某些条件是什么呢？

1. $g(\mathbf{x})\le 0$：这个没什么好说的，限制条件。

2. $w\ge 0$：要满足这个条件，考虑$g(\mathbf{x})<0$和$g(\mathbf{x})=0$两种情况：
   (1). 当$g({\mathbf{x}}^{\ast })=0$时：说明这个点在 $g(\mathbf{x})=0$构成的边界上，此时必然有$▽f({\mathbf{x}}^{\ast })$和$▽g({\mathbf{x}}^{\ast })$平行，但是无法保证他们俩方向和大小相同，因此标量$w>0$，使得等式(2.1)成立。
   

   (2). 当$g({\mathbf{x}}^{\ast })<0$时：说明这个点在$g(\mathbf{x})=0$构成边界的内部，此时限制条件$g(\mathbf{x})\le 0$就打酱油了，没卵用，可以直接通过条件$▽f(\mathbf{x})=0$获得最优点，这个时候$w=0$。
   

3. $wg(\mathbf{x})=0$：要加上这个条件的原因是，为了满足条件2中的两种情况。
   $$\begin{array}{r}\{\begin{array}{c}g(\mathbf{x})\le 0\\ w\ge 0\\ wg(\mathbf{x})=0\end{array}\end{array}\text{\hspace{1em}(2.2)}$$
   所以啊，公式(2.2)就被称为Karush-Kuhn-Tucker, (KKT)条件。

2.2 多个限制条件的情况

一个限制条件说清楚了，那么多当有多个约束条件时，考虑$l$个等式约束和$k$个不等式约束。
$$\begin{array}{rl}\underset{x}{\min }f(\mathbf{x})& \\ s.t.c_i(\mathbf{x})\le 0& (i=1,2,...,k)\\ h_j(\mathbf{x})=0& (j=1,2,...,l)\end{array}\text{\hspace{1em}(2.3)}$$
这个时候，引入拉格朗日算子$\mathbf{\alpha }=[{\alpha }_1,{\alpha }_2,...,{\alpha }_l]$和$\mathbf{\beta }=[{\beta }_1,{\beta }_2,...,{\beta }_k]$，拉格朗日函数为
$$\begin{array}{r}L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })=f(\mathbf{x})+\sum _{i=1}^k{\alpha }_i{c}_i(\mathbf{x})+\sum _{j=1}^l{\beta }_j{h}_j(\mathbf{x})\end{array}\text{\hspace{1em}(2.4)}$$
则他们的KKT条件是：
$$\begin{array}{r}\{\begin{array}{cc}{c}_i(\mathbf{x})\le 0& (i=1,2,...,k)\\ {\alpha }_i\ge 0& (i=1,2,...,k)\\ {\alpha }_i{c}_i(\mathbf{x})=0& \\ h_j(\mathbf{x})=0& \end{array}\end{array}\text{\hspace{1em}(2.5)}$$

---

3. 对偶问题

KKT条件中提到，在公式(1.2)可能取到的所有点中，的的确确找到了一个${\mathbf{x}}^{\ast }$，使得$f(\mathbf{x})$最小且满足$g(\mathbf{x})\le 0$。

但是，如果找不到呢。。。

3.1 原始问题

3.1.1 一个限制条件的情况下

找不到${\mathbf{x}}^{\ast }$，公式(2.1)就不能成立了，
$$\begin{array}{r}▽f({\mathbf{x}}^{\ast })+w▽g({\mathbf{x}}^{\ast })=0\end{array}\text{\hspace{1em}(2.1)}$$
但是，我要怎么告诉公式(2.1)不能成立啊！！！

找不到${\mathbf{x}}^{\ast }$，说明存在一个${\mathbf{x}}^{\mathbf{f}\mathbf{a}\mathbf{k}\mathbf{e}}$违背了$g(\mathbf{x})\le 0$的条件，有$g({\mathbf{x}}^{\mathbf{f}\mathbf{a}\mathbf{k}\mathbf{e}})>0$，既然这样的话，在
$$\begin{array}{r}L(\mathbf{x},w)=f(\mathbf{x})+wg(\mathbf{x})\end{array}$$
中，我们令$w\to +\infty$。这样的话，

• 若$\mathbf{x}$不违反$g(\mathbf{x})\le 0$约束，则${\max }_{w}L(\mathbf{x},w)=f(\mathbf{x})$
• 若$\mathbf{x}$违反$g(\mathbf{x})\le 0$约束，则${\max }_{w}L(\mathbf{x},w)=+\infty$

所以就变成了
$$\begin{array}{r}\underset{x}{\min }\underset{w}{\max }L(\mathbf{x},w)\end{array}\text{\hspace{1em}(3.1)}$$

3.2.2 多个限制条件的情况下

$$\begin{array}{r}\underset{x}{\min }\underset{{\alpha }_i,{\beta }_j;{\alpha }_i\ge 0}{\max }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })\end{array}\text{\hspace{1em}(3.2)}$$

3.2 转化者

换个心情，换个思路。。。（透。。。）
这个问题称为广义拉格朗日函数的极大极小问题。
$$\begin{array}{r}\underset{{\alpha }_i,{\beta }_j;{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })\end{array}\text{\hspace{1em}(3.3)}$$
也就是求
$$\begin{array}{r}\underset{{\alpha }_i,{\beta }_j;}{\max }\underset{x}{\min }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })\\ s.t.{\alpha }_i\ge 0\end{array}\text{\hspace{1em}(3.4)}$$

3.3 大小安排一波？？？

假设公式(3.2) 原始人 的最优解为$p^{\ast }$，公式(3.4) 转化者 的最优解为$d^{\ast }$。
因为
$$\begin{array}{r}\underset{x}{\min }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })\le L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })\le \underset{{\alpha }_i,{\beta }_j;{\alpha }_i\ge 0}{\max }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })\end{array}\text{\hspace{1em}(3.5)}$$
因为原始人和转化者都有最优解，所以有
$$\begin{array}{r}{d}^{\ast }=\underset{{\alpha }_i,{\beta }_j;}{\max }\underset{x}{\min }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })\le \underset{x}{\min }\underset{{\alpha }_i,{\beta }_j}{\max }L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })=p^{\ast }\end{array}\text{\hspace{1em}(3.6)}$$
所以在KKT条件中，还要加上这几条，最后是：
$$\begin{array}{r}\{\begin{array}{cc}{▽}_{\mathbf{x}}L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })=0& \\ {▽}_{\mathbf{\alpha }}L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })=0& \\ {▽}_{\mathbf{\beta }}L(\mathbf{x},\mathbf{\alpha },\mathbf{\beta })=0& \\ c_i(\mathbf{x})\le 0& (i=1,2,...,k)\\ {\alpha }_i\ge 0& (i=1,2,...,k)\\ {\alpha }_i{c}_i(\mathbf{x})=0& \\ h_j(\mathbf{x})=0& \end{array}\end{array}\text{\hspace{1em}(3.7)}$$

---

4. 小结

所以，要求一个连续可微函数的最小值，并且还有一堆限制条件，可以这么做：

1. 引入拉格朗日乘子，构造拉格朗日函数；
2. 计算拉格朗日函数对未知参数的偏导数，并令导数为0，求解参数。
3. 将参数代入拉格朗日函数中，并转化成对偶问题后求解。（转换的时候注意其KKT条件）
   

---

5. 参考文献

《西瓜书》
《统计学习方法》
《拉格朗日乘子法》