文章目录
1. 拉格朗日算子
1.1 基本流程
假设
x
=
[
x
1
,
x
2
,
.
.
.
,
x
d
]
\boldsymbol{x}=[x_1,x_2,...,x_d]
x=[x1,x2,...,xd]，是一个
d
d
d维的向量，
f
(
x
)
f(x)
f(x)和
g
(
x
)
g(x)
g(x)是定义在实数集上连续可微的函数，现在需要找一个
x
∗
x^*
x∗使得
f
(
x
)
f(x)
f(x)具有最小值，且
g
(
x
)
≤
0
g(x) \leq 0
g(x)≤0。即有：
min
x
f
(
x
)
s
.
t
.
g
(
x
)
≤
0
(1.1)
\begin{aligned} \min _x f(x) \\ s.t. \ g(x) \leq 0 \tag{1.1} \end{aligned}
xminf(x)s.t. g(x)≤0(1.1)
那么，通过拉格朗日乘子法，可以构造出下面的式子：
L
(
x
,
w
)
=
f
(
x
)
+
w
g
(
x
)
(1.2)
\begin{aligned} L(\boldsymbol{x}, w) = f(\boldsymbol{x}) + wg(\boldsymbol{x}) \tag{1.2} \end{aligned}
L(x,w)=f(x)+wg(x)(1.2)
令
L
(
x
,
w
)
L(\boldsymbol{x},w)
L(x,w)的对
x
\boldsymbol{x}
x的导数为0，求解出
x
,
w
x, w
x,w的值，那么，
x
\boldsymbol{x}
x就是函数
f
(
x
)
f(\boldsymbol{x})
f(x)在附加条件
g
(
x
)
g(\boldsymbol{x})
g(x)下可能的极值点。
1.2 理解
第一层理解：
在学高数的时候，对拉格朗日的理解仅限于：构造了一个函数 L ( x , y , λ ) L(x,y,\lambda) L(x,y,λ)，对该函数 L ( x , y , λ ) L(x,y,\lambda) L(x,y,λ)求极导，令导数为0，可以算出极大值极小值。
第二层理解：
在进行第二层理解时，需要明白几个概念：
- 数学里面，梯度指的是函数变化最快的方向。
- 梯度跟函数约束曲线是垂直的，既然垂直于约束曲面，就一定垂直于等高线。
具体可以参考这篇文章拉格朗日乘子法。该文比较直观的介绍了拉格朗日的基本定理，并且从切线、梯度的角度分析了拉格朗日算子。
2. KKT条件
2.1 一个限制条件的情况
看完这个例子之后，在公式(1.2)可能取到的所有点中，的的确确找到了一个
x
∗
\boldsymbol{x^*}
x∗，使得
f
(
x
)
f(\boldsymbol{x})
f(x)最小且满足
g
(
x
)
≤
0
g(\boldsymbol{x}) \leq 0
g(x)≤0，在这样的情况下，必然有
▽
f
(
x
∗
)
+
w
▽
g
(
x
∗
)
=
0
(2.1)
\begin{aligned} \bigtriangledown f(\boldsymbol{x^*}) + w \bigtriangledown g(\boldsymbol{x^*}) = 0 \tag{2.1} \end{aligned}
▽f(x∗)+w▽g(x∗)=0(2.1)
而公式(2.1)在某些条件下刚好是公式(1.2)：
L
(
x
,
w
)
=
f
(
x
)
+
w
g
(
x
)
L(x, w) = f(\boldsymbol{x}) + wg(\boldsymbol{x})
L(x,w)=f(x)+wg(x)对
x
\boldsymbol{x}
x的偏导数等于
0
0
0的情况。
∂
L
(
x
,
w
)
∂
x
=
▽
f
(
x
)
+
w
▽
g
(
x
)
\begin{aligned} \frac{\partial{L(\boldsymbol{x}, w)}}{\partial{\boldsymbol{x}}} = \bigtriangledown f(\boldsymbol{x}) + w \bigtriangledown g(\boldsymbol{x}) \end{aligned}
∂x∂L(x,w)=▽f(x)+w▽g(x)
那么，某些条件是什么呢？
-
g ( x ) ≤ 0 g(\boldsymbol{x}) \leq 0 g(x)≤0：这个没什么好说的，限制条件。
-
w ≥ 0 w \geq 0 w≥0：要满足这个条件，考虑 g ( x ) < 0 g(\boldsymbol{x})<0 g(x)<0和 g ( x ) = 0 g(\boldsymbol{x})=0 g(x)=0两种情况：
(1). 当 g ( x ∗ ) = 0 g(\boldsymbol{x^*})=0 g(x∗)=0时：说明这个点在 g ( x ) = 0 g(\boldsymbol{x})=0 g(x)=0构成的边界上，此时必然有 ▽ f ( x ∗ ) \bigtriangledown f(\boldsymbol{x^*}) ▽f(x∗)和 ▽ g ( x ∗ ) \bigtriangledown g(\boldsymbol{x^*}) ▽g(x∗)平行，但是无法保证他们俩方向和大小相同，因此标量 w > 0 w>0 w>0，使得等式(2.1)成立。
(2). 当 g ( x ∗ ) < 0 g(\boldsymbol{x^*})<0 g(x∗)<0时：说明这个点在 g ( x ) = 0 g(\boldsymbol{x})=0 g(x)=0构成边界的内部，此时限制条件 g ( x ) ≤ 0 g(\boldsymbol{x}) \leq 0 g(x)≤0就打酱油了，没卵用，可以直接通过条件 ▽ f ( x ) = 0 \bigtriangledown f(\boldsymbol{x})=0 ▽f(x)=0获得最优点，这个时候 w = 0 w=0 w=0。
-
w g ( x ) = 0 wg(\boldsymbol{x})=0 wg(x)=0：要加上这个条件的原因是，为了满足条件2中的两种情况。
{ g ( x ) ≤ 0 w ≥ 0 w g ( x ) = 0 (2.2) \begin{aligned} \left\{\begin{matrix} g(\boldsymbol{x}) \leq 0 \\ w \geq 0 \\ wg(\boldsymbol{x})=0 \end{matrix}\right. \tag{2.2} \end{aligned} ⎩⎨⎧g(x)≤0w≥0wg(x)=0(2.2)
所以啊，公式(2.2)就被称为Karush-Kuhn-Tucker, (KKT)条件。
2.2 多个限制条件的情况
一个限制条件说清楚了，那么多当有多个约束条件时，考虑
l
l
l个等式约束和
k
k
k个不等式约束。
min
x
f
(
x
)
s
.
t
.
c
i
(
x
)
≤
0
(
i
=
1
,
2
,
.
.
.
,
k
)
h
j
(
x
)
=
0
(
j
=
1
,
2
,
.
.
.
,
l
)
(2.3)
\begin{aligned} \min _x f(\boldsymbol{x}) & \\ s.t. \ c_i(\boldsymbol{x}) \leq 0 \ & (i=1,2,...,k)\\ \ h_j(\boldsymbol{x}) = 0 \ & (j=1,2,...,l) \tag{2.3} \end{aligned}
xminf(x)s.t. ci(x)≤0 hj(x)=0 (i=1,2,...,k)(j=1,2,...,l)(2.3)
这个时候，引入拉格朗日算子
α
=
[
α
1
,
α
2
,
.
.
.
,
α
l
]
\boldsymbol{\alpha}=[\alpha_1,\alpha_2,...,\alpha_l]
α=[α1,α2,...,αl]和
β
=
[
β
1
,
β
2
,
.
.
.
,
β
k
]
\boldsymbol{\beta}=[\beta_1,\beta_2,...,\beta_k]
β=[β1,β2,...,βk]，拉格朗日函数为
L
(
x
,
α
,
β
)
=
f
(
x
)
+
∑
i
=
1
k
α
i
c
i
(
x
)
+
∑
j
=
1
l
β
j
h
j
(
x
)
(2.4)
\begin{aligned} L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) = f(\boldsymbol{x}) + \sum_{i=1}^{k} \alpha_i c_i(\boldsymbol{x}) + \sum_{j=1}^{l} \beta_j h_j(\boldsymbol{x}) \tag{2.4} \end{aligned}
L(x,α,β)=f(x)+i=1∑kαici(x)+j=1∑lβjhj(x)(2.4)
则他们的KKT条件是：
{
c
i
(
x
)
≤
0
(
i
=
1
,
2
,
.
.
.
,
k
)
α
i
≥
0
(
i
=
1
,
2
,
.
.
.
,
k
)
α
i
c
i
(
x
)
=
0
h
j
(
x
)
=
0
(2.5)
\begin{aligned} \left\{\begin{matrix} c_i(\boldsymbol{x}) \leq 0 \ & (i=1,2,...,k)\\ \alpha_i \geq 0 \ & (i=1,2,...,k)\\ \alpha_i c_i(\boldsymbol{x})=0\\ h_j(\boldsymbol{x})=0 \end{matrix}\right. \tag{2.5} \end{aligned}
⎩⎪⎪⎨⎪⎪⎧ci(x)≤0 αi≥0 αici(x)=0hj(x)=0(i=1,2,...,k)(i=1,2,...,k)(2.5)
3. 对偶问题
KKT条件中提到，在公式(1.2)可能取到的所有点中，的的确确找到了一个 x ∗ \boldsymbol{x^*} x∗，使得 f ( x ) f(\boldsymbol{x}) f(x)最小且满足 g ( x ) ≤ 0 g(\boldsymbol{x}) \leq 0 g(x)≤0。
但是，如果找不到呢。。。
3.1 原始问题
3.1.1 一个限制条件的情况下
找不到
x
∗
\boldsymbol{x^*}
x∗，公式(2.1)就不能成立了，
▽
f
(
x
∗
)
+
w
▽
g
(
x
∗
)
=
0
(2.1)
\begin{aligned} \bigtriangledown f(\boldsymbol{x^*}) + w \bigtriangledown g(\boldsymbol{x^*}) = 0 \tag{2.1} \end{aligned}
▽f(x∗)+w▽g(x∗)=0(2.1)
但是，我要怎么告诉公式(2.1)不能成立啊！！！
找不到
x
∗
\boldsymbol{x^*}
x∗，说明存在一个
x
f
a
k
e
\boldsymbol{x^{fake}}
xfake违背了
g
(
x
)
≤
0
g(\boldsymbol{x}) \leq 0
g(x)≤0的条件，有
g
(
x
f
a
k
e
)
>
0
g(\boldsymbol{x^{fake}}) > 0
g(xfake)>0，既然这样的话，在
L
(
x
,
w
)
=
f
(
x
)
+
w
g
(
x
)
\begin{aligned} L(\boldsymbol{x}, w) = f(\boldsymbol{x}) + wg(\boldsymbol{x}) \end{aligned}
L(x,w)=f(x)+wg(x)
中，我们令
w
→
+
∞
w \rightarrow {+\infty}
w→+∞。这样的话，
- 若 x \boldsymbol{x} x不违反 g ( x ) ≤ 0 g(\boldsymbol{x}) \leq 0 g(x)≤0约束，则 max w L ( x , w ) = f ( x ) \max_w L(\boldsymbol{x}, w) =f(\boldsymbol{x}) maxwL(x,w)=f(x)
- 若 x \boldsymbol{x} x违反 g ( x ) ≤ 0 g(\boldsymbol{x}) \leq 0 g(x)≤0约束，则 max w L ( x , w ) = + ∞ \max_w L(\boldsymbol{x}, w) = {+\infty} maxwL(x,w)=+∞
所以就变成了
min
x
max
w
L
(
x
,
w
)
(3.1)
\begin{aligned} \min _x \max_w L(\boldsymbol{x}, w)\tag{3.1} \end{aligned}
xminwmaxL(x,w)(3.1)
3.2.2 多个限制条件的情况下
min x max α i , β j ; α i ≥ 0 L ( x , α , β ) (3.2) \begin{aligned} \min _x \max_{\alpha_i, \beta_j; \alpha_i \geq0} L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})\tag{3.2} \end{aligned} xminαi,βj;αi≥0maxL(x,α,β)(3.2)
3.2 转化者
换个心情，换个思路。。。（透。。。）
这个问题称为广义拉格朗日函数的极大极小问题。
max
α
i
,
β
j
;
α
i
≥
0
min
x
L
(
x
,
α
,
β
)
(3.3)
\begin{aligned} \max_{\alpha_i, \beta_j;\alpha_i \geq0} \min _x L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})\tag{3.3} \end{aligned}
αi,βj;αi≥0maxxminL(x,α,β)(3.3)
也就是求
max
α
i
,
β
j
;
min
x
L
(
x
,
α
,
β
)
s
.
t
.
α
i
≥
0
(3.4)
\begin{aligned} \max_{\alpha_i, \beta_j;}\min _x L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})\\ s.t. \ \alpha_i \geq0 \tag{3.4} \end{aligned}
αi,βj;maxxminL(x,α,β)s.t. αi≥0(3.4)
3.3 大小安排一波？？？
假设公式(3.2) 原始人 的最优解为
p
∗
p^*
p∗，公式(3.4) 转化者 的最优解为
d
∗
d^*
d∗。
因为
min
x
L
(
x
,
α
,
β
)
≤
L
(
x
,
α
,
β
)
≤
max
α
i
,
β
j
;
α
i
≥
0
L
(
x
,
α
,
β
)
(3.5)
\begin{aligned} \min _x L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) \leq L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) \leq \max_{\alpha_i, \beta_j; \alpha_i \geq0} L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) \tag{3.5} \end{aligned}
xminL(x,α,β)≤L(x,α,β)≤αi,βj;αi≥0maxL(x,α,β)(3.5)
因为原始人和转化者都有最优解，所以有
d
∗
=
max
α
i
,
β
j
;
min
x
L
(
x
,
α
,
β
)
≤
min
x
max
α
i
,
β
j
L
(
x
,
α
,
β
)
=
p
∗
(3.6)
\begin{aligned} d^*=\max_{\alpha_i, \beta_j;} \min _x L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta}) \leq \min_x \max_{\alpha_i, \beta_j} L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})=p^* \tag{3.6} \end{aligned}
d∗=αi,βj;maxxminL(x,α,β)≤xminαi,βjmaxL(x,α,β)=p∗(3.6)
所以在KKT条件中，还要加上这几条，最后是：
{
▽
x
L
(
x
,
α
,
β
)
=
0
▽
α
L
(
x
,
α
,
β
)
=
0
▽
β
L
(
x
,
α
,
β
)
=
0
c
i
(
x
)
≤
0
(
i
=
1
,
2
,
.
.
.
,
k
)
α
i
≥
0
(
i
=
1
,
2
,
.
.
.
,
k
)
α
i
c
i
(
x
)
=
0
h
j
(
x
)
=
0
(3.7)
\begin{aligned} \left\{\begin{matrix} \bigtriangledown_{\boldsymbol{x}}L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})=0\\ \bigtriangledown_{\boldsymbol{\alpha}}L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})=0\\ \bigtriangledown_{\boldsymbol{\beta}}L(\boldsymbol{x}, \boldsymbol{\alpha}, \boldsymbol{\beta})=0\\ c_i(\boldsymbol{x}) \leq 0 \ & (i=1,2,...,k)\\ \alpha_i \geq 0 \ & (i=1,2,...,k)\\ \alpha_i c_i(\boldsymbol{x})=0\\ h_j(\boldsymbol{x})=0 \end{matrix}\right. \tag{3.7} \end{aligned}
⎩⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎧▽xL(x,α,β)=0▽αL(x,α,β)=0▽βL(x,α,β)=0ci(x)≤0 αi≥0 αici(x)=0hj(x)=0(i=1,2,...,k)(i=1,2,...,k)(3.7)
4. 小结
所以，要求一个连续可微函数的最小值，并且还有一堆限制条件，可以这么做：
- 引入拉格朗日乘子，构造拉格朗日函数；
- 计算拉格朗日函数对未知参数的偏导数，并令导数为0，求解参数。
- 将参数代入拉格朗日函数中，并转化成对偶问题后求解。（转换的时候注意其KKT条件）
5. 参考文献
《西瓜书》
《统计学习方法》
《拉格朗日乘子法》
扫一扫
6947
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
