SVM支持向量机理论基础

给定的训练样本集D={（x1，y1），（x2,y2）,........（xm,ym）}，其中y1={+1，-1}。

y1可以理解为样本标记，最终就是将样本y=+1和样本y=-1的样本点分开。

SVM的基本思想就是在两类训练样本之间寻找一个超平面，将不同的样本类别分开。直观上去看的话，最中间的超平面对训练样本的局部扰动容忍性最好。此划分超平面所产生的分类结果是最鲁棒（稳定）的，对未见实例的泛化能力最强。

如上图所示的超平面都可以用一个法向量w和此超平面离远点的距离b确定。

                            

                    其中，w={w1,w2,....wd}

样本空间任意一点x到超平面(w,b)的距离为

                            

                                                   

倘若可以正确的分割样本，则有（xi,yi）属于D 有以下成立：

yi=+1 时，wtx+b>0，yi=-1时，wtx+b<0。

则在过两类样本上离超平面最近的样本点的平面分别为

                    

如上图所示，距离超平面最近的几个样本点使得等号成立，他们被称为支持向量，两个异类支持向量到超平面的距离之和为

                                                                    γ=2/||w||            ----γ被称为间隔

因此svm的目的就是寻找使γ最大时的w和b，因此由以下约束条件成立：

                   

上面的约束条件等同于：

                    

此约束条件就是支持向量机svm的基本型