支持向量机模型
logistic回归中,得到线性划分
f(x)=ωTx+b
, 当
f(x)>0
时,判为1,
f(x)<0
时,判为0。
SVM与logistic回归类似,但划分方式为
{ωTx+b≥1,y=1ωTx+b≤−1,y=−1
如上图, H1 和 H2 经过的点,使得上式取等号。这些点称为 支持向量。
因此, H1 与 H2 之间的距离 2∥ω∥ , 称为间隔(margin). 间隔越大,划分鲁棒性越好。对应优化问题为
maxω,b2∥ω∥
s.t.yi(ωTxi+b)≥1
等效优化目标为
minω,b12∥ω∥2
求解
上式属于二次凸优化,有现成的优化方法。但SMO算法更为高效。
核函数
支持向量机(SVM)是什么意思?
上述的划分中,前提假设是训练样本线性可分。但对于训练样本线性不可分时,可以做一些预处理。
例如,演示中,将平面上的点映射到一个空间曲面上,此时,就存在一个超平面,可以将样本正确划分。
而映射到空间中的函数,就是核函数。
因此问题模型变为
f(x)=ωTϕ(x)+b