给定的训练样本集D={(x1,y1),(x2,y2),........(xm,ym)},其中y1={+1,-1}。
y1可以理解为样本标记,最终就是将样本y=+1和样本y=-1的样本点分开。
SVM的基本思想就是在两类训练样本之间寻找一个超平面,将不同的样本类别分开。直观上去看的话,最中间的超平面对训练样本的局部扰动容忍性最好。此划分超平面所产生的分类结果是最鲁棒(稳定)的,对未见实例的泛化能力最强。
如上图所示的超平面都可以用一个法向量w和此超平面离远点的距离b确定。
其中,w={w1,w2,....wd}
样本空间任意一点x到超平面(w,b)的距离为
倘若可以正确的分割样本,则有(xi,yi)属于D 有以下成立:
yi=+1 时,wtx+b>0,yi=-1时,wtx+b<0。
则在过两类样本上离超平面最近的样本点的平面分别为
如上图所示,距离超平面最近的几个样本点使得等号成立,他们被称为支持向量,两个异类支持向量到超平面的距离之和为
γ=2/||w|| ----γ被称为间隔
因此svm的目的就是寻找使γ最大时的w和b,因此由以下约束条件成立:
上面的约束条件等同于:
此约束条件就是支持向量机svm的基本型