硬间隔
优化目标
能将所有样本点正确分类的几何间距最大的超平面。
a r g m a x w , b γ s . t . y i ( w T ∣ ∣ w ∣ ∣ x i + b ∣ ∣ w ∣ ∣ ) ≥ γ , ∀ i \mathop{argmax}\limits_{w,b} \gamma \quad s.t.\quad y_i(\frac{w^T}{||w||}x_i+\frac{b}{||w||})\geq\gamma ,\forall i w,bargmaxγs.t.yi(∣∣w∣∣wTxi+∣∣w∣∣b)≥γ,∀i
↓ γ = γ ^ ∣ ∣ w ∣ ∣ \quad \quad \quad \downarrow \gamma= \frac{ \hat{\gamma}}{||w||} ↓γ=∣∣w∣∣γ^ 函数间隔代替几何间隔
a r g m a x w , b γ ^ ∣ ∣ w ∣ ∣ s . t . y i ( w T x i + b ) ≥ γ ^ , ∀ i \mathop{argmax}\limits_{w,b} \frac{ \hat{\gamma}}{||w||} \quad s.t.\quad y_i(w^Tx_i+b)\geq \hat{\gamma},\forall i w,bargmax∣∣w∣∣γ^s.t.yi(wTxi+b)≥γ^,∀i
↓ γ ^ \quad \quad \quad \downarrow \hat{\gamma} ↓γ^ 归一化为1
a r g m a x w , b 1 ∣ ∣ w ∣ ∣ s . t . y i ( w T x i + b ) ≥ 1 , ∀ i \mathop{argmax}\limits_{w,b} \frac{1}{||w||} \quad s.t.\quad y_i(w^Tx_i+b)\geq 1,\forall i w,bargmax∣∣w∣∣1s.t.yi(wTxi+b)≥1,∀i
↓ \quad \quad \quad \downarrow ↓ 转化为凸优化问题
a r g m i n w , b 1 2 ∣ ∣ w ∣ ∣ 2 s . t . 1 − y i ( w T x i + b ) ≤ 0 , ∀ i \mathop{argmin}\limits_{w,b} \frac{1}{2} ||w||^2 \quad s.t.\quad 1-y_i(w^Tx_i+b)\leq 0,\forall i w,bargmin21∣∣w∣∣2s.t.1−yi(wTxi+b)≤0,∀i
KKT 条件
SVM优化目标的拉格朗日函数：
KKT条件给出了一组向量
w
∗
,
b
∗
,
λ
∗
w^*,b^*,\lambda^*
w∗,b∗,λ∗ 是原问题最优解的必要条件(上述原问题是凸优化问题，所以是充要条件)：
- ∇ L ∣ w = w ∗ , b = b ∗ = 0 \nabla_{}L|_{w=w^*,b=b^*}=0 ∇L∣w=w∗,b=b∗=0
- 1 − y i ( w T x i + b ) ≤ 0 , ∀ i 1-y_i(w^Tx_i+b)\leq 0,\forall i 1−yi(wTxi+b)≤0,∀i
- λ i ∗ ≥ 0 , ∀ i \lambda_i^*\geq0 ,\forall i λi∗≥0,∀i
- λ i ∗ ( 1 − y i ( w ∗ T x i + b ∗ ) ) = 0 , ∀ i \lambda_i^*(1-y_i(w^{*T}x_i+b^*))=0,\forall i λi∗(1−yi(w∗Txi+b∗))=0,∀i
但是这个优化问题仍然不好解
对偶问题
强对偶条件
凸优化问题+Slater条件
对应：SVM中数据线性可分
构造对偶问题
将原优化问题与约束条件写成一个大的优化函数
将原优化问题转化为minmax问题
根据强对偶性质转化为maxmin问题
对偶问题求解
先求内层的min,对w,b求导=0，得到：
代入原函数，优化目标变为：
使用SMO求解
凸优化问题
-
满足为凸优化问题？
一般地，如果一个同时拥有等式约束和不等式约束的最值问题
满足条件:1. f ( x ) f(x) f(x) 是凸函数 2. g i ( x ) g_i(x) gi(x) 都是凸函数 3. h i ( x ) h_i(x) hi(x)都是仿射函数，即形如
形式的函数.那么称这是一个凸优化问题. -
凸优化问题有优点：
局部最优解一定是全局最优解.
方法较多，容易求解.
使得KKT条件成为充要条件.
再加上一个条件可以推出强对偶性.
参考链接：主脉络
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
