1. Basic SVM
- 训练样本集: {(xi,yi),i=1,2,⋯,m=m++m−} { ( x i , y i ) , i = 1 , 2 , ⋯ , m = m + + m − } ,其中, xi∈Rn,yi∈{+1,−1} x i ∈ R n , y i ∈ { + 1 , − 1 }
- 目标 1):找到一个超平面 {x|wTx+b=0} { x | w T x + b = 0 } 对训练样本集进行分割。使得不同类别间的间隔尽可能大。
- 分类方程:
H(x)=wTx+b H ( x ) = w T x + b
在任一点 x x 处,若 ,则 x x 属于第 I 类;若 ,则 x x 属于第 II 类。
1) 建模
假设分割两类样本点的超平面P的方程为 ,则总可以通过调节系数(两端同乘以一个系数)使得两类中距离超平面最近点分别位于平面P1: {x|wTx+b=+1} { x | w T x + b = + 1 } 和平面P2: {x|wTx+b=−1} { x | w T x + b = − 1 } 上。同时,P1和P2间的距离为: 2‖w‖2 2 ‖ w ‖ 2
关于P1与P2间的距离为 2‖w‖2 2 ‖ w ‖ 2 的证明:
w w 的方向为平面P的法向量方向(即与平面垂直)。对于平面上任一点,有: wTx+b=0 w T x + b = 0 ,即 ‖w‖⋅‖x‖⋅cosθ=0 ‖ w ‖ ⋅ ‖ x ‖ ⋅ cos θ = 0 ,其中, θ θ 为 w w 和的夹角。因此,有 ‖x‖⋅cosθ=b‖w‖ ‖ x ‖ ⋅ cos θ = b ‖ w ‖ 。其中, ‖x‖⋅cosθ ‖ x ‖ ⋅ cos θ 为点 x x 在方向的投影,即为平面P到原点的距离。而P1与P2间的距离可以由P2到原点的距离减去P1到原点的距离求得,因此P1与P2见的距离为 2‖w‖2 2 ‖ w ‖ 2
以上,我们便得到了如下的优化问题:
为了便于求解,该问题可以转换为:
【式-0】优化问题表达式
由于上述优化问题为凸优化问题,因此可以通过求解对偶问题来求解上述问题。
2) Lagrange乘子法求解 对偶问题:
【式-1】
上式中, αi α i 为对偶变量。
原问题的对偶问题为
因此,由KKT条件:
【式-2】
将 式-2 中的结果代入 式-1,有:
因此,对偶问题可以表达为:
【式-3】对偶问题
假设原问题和对偶问题的最优解为
w∗,b∗,α∗
w
∗
,
b
∗
,
α
∗
,由互补松弛条件:
因此,与 alpha∗i>0 a l p h a i ∗ > 0 对应的 xi x i 即为支持向量:满足$y_i(x_i^Tw^+b^) = \pm 1。由此可以解得所有变量:
为了提高模型的稳定性, b∗ b ∗ 通常由下式求得:
其中, S S 为支持向量构成的集合。
对于任一新样本 ,可以通过下式给出其类别:
2. Soft Margin SVM
1) 线性惩罚项
【式-4】优化问题表达式
【式-5】对偶问题表达式
【式-6】互补松弛条件
因此,支持向量是 在分类超平面margin以内的所有点。
注意,由 式-6,
b∗=yi−yiξi−(w∗)Txi
b
∗
=
y
i
−
y
i
ξ
i
−
(
w
∗
)
T
x
i
,然而由于通过求解对偶问题并不能得到
ξi
ξ
i
的最优值,因此依照
xii=0
x
i
i
=
0
计算即可,即
对新样本的判别函数与 basic SVM相同,即:
2) 二次惩罚项
【式-7】优化问题表达式
【式-8】对偶问题表达式
显然,
β∗i=0
β
i
∗
=
0
。因此对偶问题可以进一步写作:
【注意】
惩罚项可以是任意函数,但需要保证优化问题的凸性。与线性惩罚项相比,二次惩罚项对奇异点更敏感。