机器学习(八)支持向量机svm终结篇

一、SMO算法简单推导

前面讲了一大堆都是理论推导,最后得到的公式是:

 

KKT条件为:


 接着我们要将的就是如何求解,编程如何实现,这才是我们学习的真正目的。

在这里我们先不管KKT条件,相关公式推导,我们的目的是求解拉格朗日乘子,求解上面那么方程,我们可以用梯度上升的方法进行求解。然而按照梯度上升的思想,如果我们对α1进行迭代更新的时候,我们需要固定除了α1以外的所有参数,然后对上面的式子进行求解偏导数。如果按照这种思路进行求解,我们发现约束等式变为:


 根本无法对α1进行迭代更新,因此我们需要一次性选择两个参数进行更新,也就是我们想要对αi进行更新的时候,还要再选择αj,这样就有

上面的公式三个公式,便是我们得到的结果,接着我们的目的是要消去αi,然后得到只有变量αj方程式。

 

步骤1:有方程(2)我们可以知道那是一条直线,当yi yj 异号的时候,这个直线就相当于αi-αj=ξ,然后根据,这样可以得到如图所示的图解:


也就是说αj除了要在直线上之外,还要满足αj的取值点位于上面的正方形中。据此我们可以得到αj的取值范围:


其中上式中LH的计算公式为:


这一步我们仅仅根据公式(2)(3)得到更精确的αj取值范围,上面得到的αj依旧可以在直线上移动,只要移动的范围满足公式(4)即可。

步骤2:把约束方程(2)写成:


然后代入方程(1),消去αi,然后根据梯度上升法,求取αj,可得求取公式:


其中:


因此我们最后的αj取值为:


因此如果求得αj,这个时候我们就可以求取αi了。

步骤3:更新αi,最简单的方法是直接把更新得到的αj代入公式(5),就可以了。当然还可以用下面的式子求取:


因为yi值为1-1,因此最后的求解公式为:


到了这里,我们已经实现的了对αiαj的优化更新。

步骤4:接着我们需要更新b值,使得其对于数据点ij都满足kkt条件,我们知道在前面的推导中,我们知道如果更新后的αi满足0<αi<C,这个时候根据KKT条件满足yi*gi(xi)=1,因此我们最后b的更新公式为:


二、SMO算法实现

为了更为简单的学习SMO算法,我先从最简单,简化版的SMO算法,进行讲解,这样从简单到复杂,比较容易掌握。其实SMO算法的过程,只要根据上面的推导过程,代码一步一步的往下写,基本上没什么问题。

简化版SMO算法流程:

输入参数:训练数据点X,软约束参数C、迭代次数n

输出:Wb,拉格朗日乘子

1、初始化参数拉格朗日乘子α,b

2、循环迭代,直到满足最大迭代次数

{

(1)根据公式,计算W

(2)遍历每个数据点xi,根据以下公式,判断其对应的拉格朗日乘子是否可以被优化(不满足以下KKT条件)


如果不满足KKT条件,那么随机选择另外一个数据点j,及其对应的拉格朗日乘子αj,以αiαj为一对,固定其它的α,对这两个参数进行优化,具体优化步骤如下:

a、计算αj 优化值,根据如下公式:


     其中:


根据下面公式,计算αj的取值范围:


      最后αj的最后更新值为:


      b、根据计算更新的αj计算αi,计算公式如下:


      c、更新计算直线的截距 b,计算公式如下:


简化版SMO编程实现:

from numpy import *
from matplotlib.pyplot import *
#文件读取函数
def readdata(filename):
    dataset=[];
    labelset=[];
    file=open(filename,'r');
    for line in file.readlines():
        linedata=line.strip().split('\t');
        dataset.append([linedata[0],linedata[1]]);
        labelset.append([linedata[2]])
    dataset=mat(dataset,float);
    labelset=mat(labelset,int);
    return dataset,labelset
#随机选择函数
def SelectionJ(i,m):
    j=i
    while j==i:
        j=int(random.uniform(0,m))
    return j
#根据约束条件,计算取值范围
def LH(labeli,labelj,alphai,alphaj,C):
    if labeli*labelj<0:
        L=max(0,alphaj-alphai);
        H=min(C,C+alphaj-alphai);
    else:
        L=max(0,alphai+alphaj-C)
        H=min(C,alphaj+alphai)
    return L,H
def smo(data,label,C,toler,maxiter):
    #参数初始化
    m,n=shape(data)
    b=0;
    alpha=mat(zeros([m,1]));
    fx=mat(zeros([m,n]))
    it=0;
    while it<maxiter:
        alphaPairsChanged = 0
        for j in range(n):
           fx[:,j]=multiply(multiply(alpha,label),data[:,j]);
           weight=fx.sum(axis=0);
        for i in range(m):
            fxi=weight*data[i,:].T+b
            #满足KKT条件:
            #1.label[i]*fxi>1  &&  alpa[i]==0
            #2.label[i]*fxi==1 &&  0<alpa[i]<C
            #3.label[i]*fxi<1  &&  alpa[i]=C
            EI=fxi-label[i];#定义EI,则EI*label[i]=fxi*label[i]-label[i]*label[i]=fxi*label[i]-1
            #根据定义的EI,可知根据符号 EI*label[i]与零比较,等价于上面的KKT条件
            #那么不满足KKT条件的为:
            #1、EI*label[i]>0  &&   alpa[i]>0    需要做优化
            #2、EI*label[i]==0 &&   这个时候数据点i位于边界上,不做优化处理
            #3、EI*label[i]<0  &&   alpa[i]<C    需要做优化
            if (EI*label[i]>toler and alpha[i]>0) or (EI*label[i]<-toler and alpha[i]<C):
                #alpa[i]不满足KKT,随机选择alpa[j]与alpa[i]进行优化,且i!=j
                j=SelectionJ(i,m);
                alphai_old=alpha[i].copy()#因为下面要开始更新参数,所以我们
                alphaj_old=alpha[j].copy()#深拷贝
                #计算更新alpha[j]的公式:alpha[j]:=alpha[j]-(EJ-EI)/eta;
                EJ=weight*data[j,:].T+b-label[j];
                eta=2*data[j,:]*data[i,:].T-data[i,:]*data[i,:].T-data[j,:]*data[j,:].T
                if eta>=0:print 'eta' ;continue#必满足2xy-x^2-y^2>=0  等于零的时候,下面公式的分母为零,因此不能继续计算
                alpha[j]-=label[j]*(EI-EJ)/eta;
                #计算alpha[j]的取值范围L,H
                L,H=LH(label[i],label[j],alphai_old,alphaj_old,C)
                #根据公式alpha[j]范围,重新求取alpha[j],公式如下:
                #如果 alpha[j]>H      那么alpha[j]=H
                #如果 L<=alpha[j]<=H  那么不需要更新
                #如果 alpha[j]<L      那么alpha[j]=L
                if alpha[j]>H:
                    alpha[j]=H
                elif alpha[j]<L:
                    alpha[j]=L
                #根据公式,更新alpha[i]
                alpha[i]+=label[i]*label[j]*(alphaj_old-alpha[j])
                #更新参数b 分别根据公式 计算b1、b2 并计算b值
                b1=b-EI-label[i]*(alpha[i]-alphai_old)*data[i,:]*data[i,:].T- \
                    label[j]*(alpha[j]-alphaj_old)*data[i,:]*data[j,:].T
                b2=b-EJ-label[j]*(alpha[i]-alphai_old)*data[i,:]*data[j,:].T- \
                    label[j]*(alpha[j]-alphaj_old)*data[j,:]*data[j,:].T
                if 0<alpha[i] and alpha[i]<C:
                    b=b1;
                elif 0<alpha[j] and alpha[j]<C:
                    b=b2
                else:
                    b=(b1+b2)/2
                alphaPairsChanged += 1
        if (alphaPairsChanged == 0): 
            it+= 1
        else: 
            it= 0
    return alpha,b,weight
data,label=readdata("testSet.txt");
alpha,b,weight=smo(data,label,0.6,0.01,40)
print weight[0,0]
print weight[0,1]
y1=float((weight[0,0]*2+b)/(-weight[0,1]));
y2=float((weight[0,0]*8+b)/(-weight[0,1]));
plot([2,8],[y1,y2],'-')


for i in range(len(label)):
    if label[i]<0:
        plot(data[i,0],data[i,1],'.y')
    elif label[i]>0:
        plot(data[i,0],data[i,1],'.b')
show()


 

分类结果

至此可以说算法已经完成了,然而简化版的SMO算法有很多问题,比如速度非常慢,因此接着我们就要讲解进化版的SMO算法。

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页