介绍支持向量机的博文很多,不再赘述。仅记录两个问题。
问题一
假设超平面 (w,b) 能将训练样本正确分类,对 (xi,yi)∈D ,若 yi=+1 ,则 wTxi+b>0 ;
若
yi=−1
,则
wTxi+b<0
。有:
刚开始没有想明白为什么是 ≤−1 或者 ≥+1 ,为什么不能是其他数值。
其实,这里
wT
和
b
都还是未知数,本来就是要计算的。例如可以这样写:
不论是 ±1 还是 ±2 都是可以的,为了方便表示,选择1。
问题二
为了找到最大间隔,就是要:
刚开始没有想明白为什么约束条件是
yi(wTxi+b)
≥1
。为什么是 1,而不是 0。
这里的
yi∈{−1,+1}
,而
wTxi+b=±1
是支持向量所在的直线,所以最小值就是1。
通过拉格朗日乘子法,可以得到上式得对偶问题:
这个过程要满足 KKT条件:
总会有 αi=0 或 yif(xi)=1 。 αi 不能为0,于是 yif(xi)=1 。于是对应的样本点就在最大间隔的边界上,就是一个支持向量。
问题三
拉格朗日乘子法可将
d
个变量与
拉格朗日函数的理解:
分别对
x,λ
求导:
于是原问题可以转化为对拉格朗日函数的无约束优化问题。