SVM原理和应用

SVM简介

        给定训练样本集D= {(a1, b1),(a2, b2),. . . , (am, bm)}，bi ∈ {-1,+1}，分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面,将不同类别的样本分开.但能将训练样本分开的划分超平面可能有很多,如图所示，我们应该努力去找到哪一个呢?

        

         在样本空间中,划分超平面可通过如下线性方程来描述:
                                wTx+b=0 ，
其中w = (w1; w2; . . . ; wd)为法向量,决定了超平面的方向; b为位移项,决定了超平面与原点之间的距离．显然，划分超平面可被法向量w和位移b确定，
下面我们将其记为(w,b).样本空间中任意点α到超平面(w,b)的距离可写为
                                r=|wTx+b|/||w||,

        假设超平面(w,b)能将训练样本正确分类,即对于(ai,bi)∈ D,若yi=＋1，则有wTxi+b >0;若yi=—1，则有wTzi+b<0.令
wTxi＋b ≥+1，yi=＋1 ;

w Txi+ b ≤-1，yi= -1 .
        如图所示,距离超平面最近的这几个训练样本点使上式的等号成立，它们被称为“支持向量”(support vector)，两个异类支持向量到超平面的距离之和为
r=2/||w||，它被称为“间隔”(margin).

        

        要想找到具有“最大间隔”(maximum margin)的划分超平面,也就是要找到能满足上式中约束的参数w和b,使得γ最大，即
        max 2/||w||
        s.t. y(wTxi+b)≥ 1，i=1,2,. . . , m.
显然,为了最大化间隔,仅需最大化||wll的-1次方，这等价于最小化||w||的平方．于是上式可重写为min 1/2||w||的平方

s.t. yi(wTxi+b)≥1,i= 1,2,.. . , m.

 拉格朗日乘子法

设给定二元函数z=ƒ(x,y)和附加条件φ(x,y)=0，为寻找z=ƒ(x,y)在附加条件下的极值点，先做拉格朗日函数  ，其中λ为参数。

令F(x,y,λ)对x和y和λ的一阶偏导数等于零，即

F'x=ƒ'x(x,y)+λφ'x(x,y)=0 

F'y=ƒ'y(x,y)+λφ'y(x,y)=0

F'λ=φ(x,y)=0

由上述方程组解出x,y及λ，如此求得的(x,y)，就是函数z=ƒ(x,y)在附加条件φ(x,y)=0下的可能极值点

若这样的点只有一个，由实际问题可直接确定此即所求的点。

 SoftMargin

        当然,在最大化间隔的同时,不满足约束的样本应尽可能少.于是,优化目标可写为
                ​​​​​​​        
其中C>0是一个常数,是“0/1损失函数”
        ​​​​​​​        ​​​​​​​        
显然，当C为无穷大时，上式迫使所有样本均满足约束;当C取有限值时,上式允许一些样本不满足约束.

 SMO算法

 SVM向量回归

        给定训练样本D = {(X1,Y1),(X2,Y2),...,(Xm,Ym)}， Yi ∈ R,希望学得一个回归模型,使得f(x)与y尽可能接近, w和b是待确定的模型参数.
对样本(x, y)，传统回归模型通常直接基于模型输出f(x)与真实输出y 之间的差别来计算损失,当且仅当f(x)与y完全相同时,损失才为零.与此不同,支持向量回归(Support Vector Regression,简称SVR)假设我们能容忍f(x)与y之间最多有ε的偏差,即仅当f(x)与y之间的差别绝对值大于ε时才计算损失.如图所示,这相当于以f(x)为中心,构建了一个宽度为2ε的间隔带,若训练样本落入此间隔带,则认为是被预测正确的.

 

 于是,SVR问题可形式化为
        ​​​​​​​
其中C为正则化常数,是图所示的ε不敏感损失(c-insensitive loss)函数
        ​​​​​​​
引入松弛变量,可将上式重写为