1. 决策
式①是SVM的决策边界函数。其中,m为样本数,n为特征数,是y=1时对的线性近似,其形状如图①。是y=0时对的线性近似,其形状如图②。
图①
图②
一般而言,要求式①满足如下条件:
s.t.
这样一来,求决策边界就等价于以上述两个条件为前提,求最小值了。求得θ后,就可以据此对新数据做决策,即;
。
2. 核方法
使用SVM 解决非线性可分问题时,常常用到核方法,使用核方时,我们使用相似度函数计算数据点和Landmark点(Landmark可以认为是训练数据点)之间的相似度,再根据相似度对数据分类,即取相似度为新的特征。
一种常用的相似度函数是高斯核函数,其公式如下:
,其中l(i)为第i个Landmark点,故l(i)是第i个训练数据点,我们把新数据点x和l(i)的相似度当成第i个新特征f(i),使用新特征我们就可以让分类器学习非线性决策边界:
。求得θ后,就可以据此对新数据分类:y=1, if θT f≥0; y=0, if θT f<0。