SVM 支持向量机
1-线性可分SVM :
- 硬间隔 hard margin
2-线性SVM : soft margin
从上一部分可知,
完全线性可分
的SVM模型的优化问题为:
min12||w||2s.t.yi(w⋅xi+b)≥1加入soft margin (软间隔),使之成为更加一般化的线性SVM模型,使优化问题变为:
min12||w||2s.t.+C∑i=1Nξiyi(w⋅xi+b)≥1−ξiξi≥0C为大于0的调整值,称为惩罚参数.
优化求解
拉格朗日乘子法
广义拉格朗日函数:
L(w,b,ξ,α,β)=12||w||2+C∑i=1Nξi−∑i=1Nαiyi(w⋅xi+b)+∑i=1Nαi(1−ξi)−∑i=1Nβiξi
i.原始问题 and 对偶问题:
原始问题的解: minw,b maxα,β≥0 L(w,b,ξ,α,β)
对偶问题的解: maxα,β≥0 minw,b L(w,b,ξ,α,β)
目标函数,不等式条件函数为v凸函数,所以对偶问题的解α* β* ,与原始问题的解w* b*,满足KKT条件)
ii.KKT条件:
(1)▽w=w−∑i=1Nαiyixi=0(2)▽b=−∑i=1Nαiyi=0(3)▽ξ=Ci−αi−βi=0(4)βi ξi=0(5)ξi≥0(6)βi≥0(7)αi [yi(w⋅xi+b)−1+ξi]=0(8)yi(w⋅xi+b)−1+ξi≥0(9)αi≥0KKT对偶互补条件KKT对偶互补条件
由式(9),(6),(3)得:
0≤αi≤C
由式(1)得:
w=∑i=1Nαiyixi
当 αj,βj≠0 时,结合等式(3),得: 0<αj<C
式(4),(7)得:
ξj=0yj(w⋅xj+b)−1+ξj=0
所以:
b=y−w⋅xjb值不唯一,一般取其平均
∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗∗
求解对偶问题:
将KKT求得的 w,b代入L(w,b,ξ,α,β) 得:
minw,b,ξL(w,b,ξ,α,β) =−12∑i=1N∑j=1Nαiαjyiyj(xi⋅xj)+∑i=1Nαi+b∑i=1Nαiyi式(2)得,这一项=0+ ∑i=1N(C−αi−βi)ξi式(3)得,这一项=0
再求关于 α 的极大:
maxα−12∑i=1N∑j=1Nαiαjyiyj(xi⋅xj)+∑i=1Nαis.t.0≤αi≤C∑i=1Nαiyi=0转化为求 min (乘以-1),等价于:
minα12∑i=1N∑j=1Nαiαjyiyj(xi⋅xj)−∑i=1Nαis.t.0≤αi≤C∑i=1Nαiyi=0求 解 方 法:
SMO算法 :链接
3-非线性可分SVM :
软间隔soft margin +核技巧kernel trick
......
reference:
<<统计学习方法>> 李航