〇、问题背景
在阅读 Karush-Kuhn-Tucker (KKT)条件 时，不太能理解 ∇ f \nabla f ∇f 的方向，以及 ∇ g \nabla g ∇g 的方向：
为什么 ∇ f \nabla f ∇f 是指向可行域内部， ∇ g \nabla g ∇g 指向可行域外部？
一、首先，弄明白 ∇ \nabla ∇ 梯度 的定义：
梯度的定义可以简单地表示为：梯度是一个向量，它指向函数值增长最快的方向，并且其模长等于增长率。
二、开始分析
对于 f f f，无约束最小值在中心（左），而 ∇ f \nabla f ∇f 指向函数值增长最快的方向，所以是远离 中心（最小值） 的方向，即：可行域内部。
对于 g g g，因为内部是 ≤ 0 ≤0 ≤0、外部是 ＞ 0 ＞0 ＞0， ∇ g \nabla g ∇g 指向函数值增长最快的方向，所以肯定是往外部的方向。
∇ f \nabla f ∇f 与 ∇ g \nabla g ∇g 反向
三、实战
例1
“ 如果我们要最大化 f ( x ) f(x) f(x) 且受限于 g ( x ) ≤ 0 g(x) ≤ 0 g(x)≤0，那么对偶可行性要改成 λ ≤ 0 \lambda ≤ 0 λ≤0 ”。
—— Karush-Kuhn-Tucker (KKT)条件
对于 ∇ f \nabla f ∇f：指向可行域外部（无约束最大值在中心，指向中心，即：可行域外部）。
对于 ∇ g \nabla g ∇g：指向可行域外部
∇ f \nabla f ∇f 与 ∇ g \nabla g ∇g 同向
∵ 满足：
∇
f
=
−
λ
∇
g
\nabla f = -\lambda \nabla g
∇f=−λ∇g
∴
λ
≤
0
\lambda ≤ 0
λ≤0
例2：经典SVM
原始问题和约束条件：
注意：
g
(
x
)
=
1
−
y
i
(
w
T
x
i
+
b
)
≤
0
g(x) = 1- y_i(w^Tx_i+b) ≤ 0
g(x)=1−yi(wTxi+b)≤0，
α
i
≥
0
\alpha_i ≥ 0
αi≥0
499
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
