本文详细讨论了凸规划中的最优性条件，包括KKT点的概念，以及如何通过拉格朗日函数来表述KKT条件。文章介绍了在凸规划中，KKT点与整体极小值点的关系，并给出了相关的数学表达式和定理，强调了一阶充分条件在凸规划中的重要性。
上一篇
约束极值问题的最优性条件
基本概念
- 凸规划
m i n f ( x ) min f(x) minf(x)
s . t . { g i ( x ) ≥ 0 ， 不 等 式 约 束 h j ( x ) = 0 ， 等 式 约 束 s.t.\left \{\begin{matrix} g_i (x) \geq 0，不等式约束 \\ \\h_j(x) = 0，等式约束 \end {matrix} \right. s.t.⎩⎨⎧gi(x)≥0，不等式约束hj(x)=0，等式约束
其中 f ( x ) f(x) f(x) 是凸函数， g i ( x ) g_i(x) gi(x) 是凹函数， h j ( x ) h_j(x) hj(x) 是线性函数（线性函数既是凸函数又是凹函数）
要将 g i ( x ) g_i(x) gi(x)变成 ≥ 0 \geq 0 ≥0的形式
判断凸函数的方法，求 f ( x ) f(x) f(x) 的海森矩阵如果矩阵为正定或半正定的，则它就为凸函数
对于凸规划问题中如果
x
ˉ
\bar{x}
xˉ 是KKT点则
x
ˉ
\bar{x}
xˉ 为整体极小值点
在
凸
规
划
中
K
K
T
点
⇔
整
体
极
小
值
点
在凸规划中 KKT点 \Leftrightarrow 整体极小值点
在凸规划中KKT点⇔整体极小值点
- 定义： 设 x ˉ \bar{x} xˉ 为可行点， 不等式约束中在 x ˉ \bar{x} xˉ 起作用约束 g i ( x ) ， i ∈ I g_i(x)，i \in I gi(x)，i∈I, 如果向量组 { ▽ g i ( x ˉ ) , ▽ h j ( x ˉ ) } \{\bigtriangledown g_i(\bar{x}), \bigtriangledown h_j(\bar{x}) \} {▽gi(xˉ),▽hj(xˉ)}线性无关，则称 x ˉ \bar{x} xˉ 为约束 g ( x ) ≥ 0 和 h ( x ) = 0 g(x) \geq 0 和 h(x) = 0 g(x)≥0和h(x)=0的正则点
若
x
ˉ
\bar{x}
xˉ 是曲面
S
S
S上的一个正则点，它所在的可微曲线的切向量组成空间的一个子空间
即前进方向为此时可行域的切向量
表示为
H
0
=
{
d
∣
▽
h
(
x
ˉ
)
T
d
=
0
}
H_0 = \{d\ | \bigtriangledown h(\bar{x})^T d = 0\}
H0={d ∣▽h(xˉ)Td=0}
因此有
定理：设
x
ˉ
∈
S
\bar{x} \in S
xˉ∈S,
f
(
x
)
f(x)
f(x) 和
g
i
(
x
)
(
i
∈
I
)
g_i(x) (i \in I)
gi(x)(i∈I) 在
x
ˉ
\bar{x}
xˉ 处连续，
h
j
h_j
hj 在
x
ˉ
\bar{x}
xˉ 处可微，且
x
ˉ
\bar{x}
xˉ 是
S
S
S 上的正则点。如果
x
ˉ
\bar{x}
xˉ 是问题的局部最优解有
F
0
∩
G
0
∩
H
0
=
∅
F_0 \cap G_0 \cap H_0 = \emptyset
F0∩G0∩H0=∅
一般情况的约束类型最优化条件
- (F - J条件) 设
x
ˉ
∈
S
\bar{x} \in S
xˉ∈S,
f
(
x
)
,
g
i
(
x
)
(
i
∈
I
)
f(x), g_i(x) (i \in I)
f(x),gi(x)(i∈I)在
x
ˉ
\bar{x}
xˉ处可微，
g
i
(
x
)
(
x
∉
I
)
g_i(x) (x \notin I)
gi(x)(x∈/I)在
x
ˉ
\bar{x}
xˉ 处连续（内部无空洞，
h
j
h_j
hj 在
x
ˉ
\bar{x}
xˉ 处连续可微，如果
x
ˉ
\bar{x}
xˉ 是问题的局部最优解， 则存在不全为零的数
w
0
,
w
i
(
i
∈
I
)
w_0, w_i (i \in I)
w0,wi(i∈I) 和
∀
的
v
j
\forall的 v_j
∀的vj, 使得
w 0 ▽ f ( x ˉ ) − ∑ i ∈ I w i ▽ g i ( x ˉ ) − ∑ j = 1 l v j ▽ h j ( x ˉ ) = 0 w_0 \bigtriangledown f(\bar{x}) - \sum\limits_{i \in I} w_i \bigtriangledown g_i(\bar{x}) - \sum\limits_{j = 1}^{l} v_j\bigtriangledown h_j(\bar{x}) = 0 w0▽f(xˉ)−i∈I∑wi▽gi(xˉ)−j=1∑lvj▽hj(xˉ)=0
同理通常不研究 w 0 = 0 w_0 = 0 w0=0的极端情况，所以有：
- （KKT必要条件）设
x
ˉ
\bar{x}
xˉ为可行点,
f
(
x
)
,
g
i
(
x
)
(
i
∈
I
)
f(x), g_i(x) (i \in I)
f(x),gi(x)(i∈I)在
x
ˉ
\bar{x}
xˉ处可微，
g
i
(
x
)
(
x
∉
I
)
g_i(x) (x \notin I)
gi(x)(x∈/I)在
x
ˉ
\bar{x}
xˉ 处连续（内部无空洞，
h
j
h_j
hj 在
x
ˉ
\bar{x}
xˉ 处连续可微，向量组
{
▽
g
i
(
x
ˉ
)
,
▽
h
j
(
x
ˉ
)
}
\{\bigtriangledown g_i(\bar{x}), \bigtriangledown h_j(\bar{x}) \}
{▽gi(xˉ),▽hj(xˉ)}线性无关，如果
x
ˉ
\bar{x}
xˉ 是问题的局部最优解， 则存在数
w
i
(
i
∈
I
)
w_i (i \in I)
wi(i∈I) 和
∀
的
v
j
\forall的 v_j
∀的vj, 使得
▽ f ( x ˉ ) − ∑ i ∈ I w i ▽ g i ( x ˉ ) − ∑ j = 1 l v j ▽ h j ( x ˉ ) = 0 \bigtriangledown f(\bar{x}) - \sum\limits_{i \in I} w_i \bigtriangledown g_i(\bar{x}) - \sum\limits_{j = 1}^{l} v_j\bigtriangledown h_j(\bar{x}) = 0 ▽f(xˉ)−i∈I∑wi▽gi(xˉ)−j=1∑lvj▽hj(xˉ)=0
因此为了求KKT条件需要知道另一种使用松弛定理的表述形式：
- 设 x ˉ \bar{x} xˉ为可行点, f ( x ) , g i ( x ) f(x), g_i(x) f(x),gi(x)在 x ˉ \bar{x} xˉ处可微， h j h_j hj 在 x ˉ \bar{x} xˉ 处连续可微，向量组 { ▽ g i ( x ˉ ) , ▽ h j ( x ˉ ) } \{\bigtriangledown g_i(\bar{x}), \bigtriangledown h_j(\bar{x}) \} {▽gi(xˉ),▽hj(xˉ)}线性无关，如果 x ˉ \bar{x} xˉ 是问题的局部最优解， 则存在数 w i ( i = 1 , 2... m ) w_i (i = 1,2...m) wi(i=1,2...m) 和 ∀ 的 v j \forall的 v_j ∀的vj, 使得
{ ▽ f ( x ˉ ) − ∑ i = 1 m w i ▽ g i ( x ˉ ) − ∑ j = 1 l v j ▽ h j ( x ˉ ) = 0 w i g i ( x ˉ ) = 0 , i = 1 , 2 , . . m w i ≥ 0 , i = 1 , 2... m \left \{\begin{matrix} \bigtriangledown f(\bar{x}) - \sum\limits_{i = 1}^{m} w_i \bigtriangledown g_i(\bar{x}) - \sum\limits_{j = 1}^{l} v_j\bigtriangledown h_j(\bar{x}) = 0 \\ \\ w_i g_i(\bar{x}) = 0, i = 1,2,..m \\ \\w_i \geq 0, i = 1,2...m \end {matrix} \right. ⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧▽f(xˉ)−i=1∑mwi▽gi(xˉ)−j=1∑lvj▽hj(xˉ)=0wigi(xˉ)=0,i=1,2,..mwi≥0,i=1,2...m
为了使描述更加方便，定义广义的Lagrange函数：
L
(
x
,
w
,
v
)
=
f
(
x
)
−
∑
i
=
1
m
w
i
g
i
(
x
)
−
∑
j
=
1
l
v
j
h
j
(
x
)
L(x, w, v) = f(x) - \sum\limits_{i = 1}^{m} w_i g_i(x) - \sum\limits_{j = 1}^{l} v_j h_j(x)
L(x,w,v)=f(x)−i=1∑mwigi(x)−j=1∑lvjhj(x)
将对应的参数 w w w, v v v 称为拉格朗日乘子
因此KKT条件用拉格朗日函数的表达形式就成了设
x
ˉ
\bar{x}
xˉ为可行点,
f
(
x
)
,
g
i
(
x
)
f(x), g_i(x)
f(x),gi(x)在
x
ˉ
\bar{x}
xˉ处可微，
h
j
h_j
hj 在
x
ˉ
\bar{x}
xˉ 处连续可微，向量组
{
▽
g
i
(
x
ˉ
)
,
▽
h
j
(
x
ˉ
)
}
\{\bigtriangledown g_i(\bar{x}), \bigtriangledown h_j(\bar{x}) \}
{▽gi(xˉ),▽hj(xˉ)}线性无关，若
x
ˉ
\bar{x}
xˉ 是局部最优解， 则存在乘子向量
w
ˉ
≥
0
,
v
ˉ
\bar{w} \geq 0, \bar{v}
wˉ≥0,vˉ 使得
▽
x
L
(
x
ˉ
,
w
ˉ
,
v
ˉ
)
=
0
\bigtriangledown_x L(\bar{x}, \bar{w}, \bar{v}) = 0
▽xL(xˉ,wˉ,vˉ)=0
- 一阶充分条件： 当是凸规划是KKT条件就是它的充分条件
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
