拉格朗日乘子_拉格朗日乘子、KKT条件与对偶问题

1. 拉格朗日算子

1.1 基本流程

假设

，是一个

维的向量，

和

是定义在实数集上

连续可微的函数，且

。现在需要找一个

使得

具有最小值。

即有：

那么，通过拉格朗日乘子法，可以构造出下面的式子：

令

的对

的导数为0，求解出

的值，那么，

就是函数

在附加条件

下

可能的极值点。

1.2 理解

第一层理解：

在学高数的时候，对拉格朗日的理解仅限于：构造了一个函数

，对该函数

求极导，令导数为0，可以算出极大值极小值。

第二层理解：

在进行第二层理解时，需要明白几个概念：

• 数学里面，梯度指的是函数变化最快的方向。
• 梯度跟函数约束曲线是垂直的，既然垂直于约束曲面，就一定垂直于等高线。

具体可以参考这篇文章拉格朗日乘子法。该文比较直观的介绍了拉格朗日的基本定理，并且从切线、梯度的角度分析了拉格朗日算子。

---

2. KKT条件

2.1 一个限制条件的情况

看完这个例子之后，在公式(1.2)可能取到的所有点中，的的确确找到了一个

，使得

最小且满足

，在这样的情况下，必然有

而公式(2.1)在

某些条件下刚好是公式(1.2)：

对

的偏导数等于

的情况。

那么，

某些条件是什么呢？

1. ：这个没什么好说的，限制条件。
2. ：要满足这个条件，考虑
   和
   两种情况：

• 当
  时：说明这个点在
  构成的边界上，此时必然有
  和
  平行，但是无法保证他们俩方向和大小相同，因此标量
  ，使得等式(2.1)成立。

• • 当
    时：说明这个点在
    构成边界的内部，此时限制条件
    就打酱油了，没卵用，可以直接通过条件
    获得最优点，这个时候
    。

所以啊，公式(2.2)就被称为Karush-Kuhn-Tucker (KKT)条件。

2.2 多个限制条件的情况

一个限制条件说清楚了，那么多当有多个约束条件时，考虑

个等式约束和

个不等式约束。

这个时候，引入拉格朗日算子

和

,拉格朗日函数为

则他们的

KKT条件是：

---

3. 对偶问题

KKT条件中提到，在公式(1.2)可能取到的所有点中，的的确确找到了一个

，使得

最小且满足

。

但是，如果找不到呢。。。

3.1 原始问题

3.1 一个限制条件的情况下

找不到

，公式(2.1)就不能成立了，

但是，我要怎么告诉公式(2.1)不能成立啊！！！

找不到

，说明存在一个

违背了

的条件，有

，既然这样的话，在

中，我们令

。这样的话，

• 若
  不违反
  约束，则
• 若
  违反
  约束，则

所以就变成了

3.2 多个限制条件的情况下

3.2 转化者

换个心情，换个思路。。。（透。。。） 这个问题称为广义拉格朗日函数的极大极小问题。

也就是求

3.3 大小安排一波？？？

假设公式(3.2) 原始人 的最优解为

，公式(3.4) 转化者 的最优解为

。 因为

因为原始人和转化者都有最优解，所以有

所以在

KKT条件中，还要加上这几条，最后是：

---

4. 小结

所以，要求一个连续可微函数的最小值，并且还有一堆限制条件，可以这么做：

1. 引入拉格朗日乘子，构造拉格朗日函数；
2. 计算拉格朗日函数对未知参数的偏导数，并令导数为0，求解参数。
3. 将参数代入拉格朗日函数中，并转化成对偶问题后求解。（转换的时候注意其KKT条件）

---

5. 参考文献

• 《西瓜书》
• 《统计学习方法》
• 《拉格朗日乘子法》