机器学习——Weak3.支持向量机

支持向量机SVM

支持向量机
优点：泛化错误率低，计算开销不大，结果易解释
缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题
适用数据类型：数值型和标称型数据

SVM的一般流程
1.收集数据：可以使用任意方法
2.准备数据：需要数值型数据
3.分析数据：有助于可视化分隔超平面
4.训练数据：SVM的大部分时间都源自训练，该过程主要实现两个参数的调优
5.测试算法：十分简单的计算过程就可以实现
6.使用算法：几乎所有分类问题都可以使用SVM，值得一提的是，SVM本身是一个二类分类器，对多类问题应用SVM需要对代码做一些修改

在开始SVM的代码之前，要先知道几个概念和算法：

• 决策面方程（超平面方程）：
  超平面即分隔数据点的平面
  
  其中
  

• 分隔间隔方程：
  分隔间隔即支持向量到分隔平面的垂直距离
  

• SVM最优化问题的约束条件：
  
  整合后即为
  

• 线性SVM优化问题基本描述：
  我们将分隔间隔方程进行等效变换后，再结合约束条件，就可以整合得到基本描述了（所有的更详细的步骤和证明可以移步到最后的网址）
  

• 拉格朗日函数：
  对优化问题进行拉格朗日处理
  
  而我们的目的就是求新目标函数的最小值
  
  只是直接求解比较困难，我们再进行对偶处理，得到
  
  对该函数求解，先使得L关于w，b最小化，分别对w，b求导并使其等于零，即为满足L(w,b,α)关于w和b最小化的条件，代入原函数得
  
  这就是最新得到的优化问题函数

• SVM优化问题整体思路：
  ①明确目标：我们想得到一个超平面且此时有最大分隔间隔，为此我们需要得到方程的w和b；
  ②等效变换：由于直接求解会很不方便，于是我们进行等效变换，即求得最小的||w||；
  ③约束条件：这里的约束条件就是所有样本点需满足的分类条件；
  ④拉格朗日函数：我们以||w||和约束条件构造拉格朗日函数，得到拉格朗日函数后还是很难求解，于是再进行拉格朗日对偶处理；
  ⑤简化处理后的优化问题：现在优化问题的求解，首先要让L(w,b,α)关于w和b最小化，然后求对α的极大，最后利用SMO算法求解对偶问题中的拉格朗日乘子；
  ⑥对偶问题求解：为了让L(w,b,α)关于w和b最小化，我们对L对w和b求偏导，代入后即得满足L(w,b,α)关于w和b最小化的新函数L(α)，这时函数只有αi一个变量;
  ⑦序列最小优化SMO算法：我们通过这个优化算法能对L(α)得到α，再根据α，我们就可以求解出w和b，进而求得我们最初的目的：找到超平面，即”决策平面”

• SMO算法：
  ①计算误差：
  
  ②计算上下界L和H：
  
  ③计算学习效率η：
  
  ④更新αj：
  
  ⑤根据取值范围修剪αj：
  
  ⑥更新αi：
  
  ⑦更新b1和b2：
  
  ⑧根据b1和b2更新b：
  

以上，我们知道了SVM的相关原理知识，我们现在可以通过编程实现了

---

简化版SMO算法：
简化版SMO算法跳过了外循环确定要优化的最佳alpha对，首先在数据集上遍历每一个alpha，然后在剩下的alpha集合中随机选择另一个alpha，从而构建alpha对

• SMO算法中的辅助函数：

def loadDataSet(fileName):
    dataMat = []; labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = line.strip().split('\t')
        dataMat.append([float(lineArr[0]), float(lineArr[1])])
        labelMat.append(float(lineArr[2]))
    return dataMat,labelMat

def selectJrand(i,m):
    j=i #we want to select any J not equal to i
    while j==i:
        j = int(random.uniform(0,m))
    return j

def clipAlpha(aj,H,L):
    if aj > H: 
        aj = H
    if L > aj:
        aj = L
    return aj

• 简化版SMO算法：

def smoSimple(dataMatIn, classLabels, C, toler, maxIter):#数据集、类别标签、常数C、容错率、退出前最大的循环次数
    dataMatrix = mat(dataMatIn); labelMat = mat(classLabels).transpose()
    b = 0; m,n = shape(dataMatrix)
    alphas = mat(zeros((m,1)))
    iter_num = 0  #储存在没有任何alpha改变的情况下遍历数据集的次数
    while iter_num < maxIter:
        alphaPairsChanged = 0  #记录alpha是否已经进行优化
        for i in range(m):
            fXi = float(multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[i,:].T)) + b
            Ei = fXi - float(labelMat[i])#if checks if an example violates KKT conditions
            if ((labelMat[i]*Ei < -toler) and (alphas[i] < C)) or ((labelMat[i]*Ei > toler) and (alphas[i] > 0)):
                j = selectJrand(i,m)
                fXj = float(multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[j,:].T)) + b
                Ej = fXj - float(labelMat[j])
                alphaIold = alphas[i].copy(); alphaJold = alphas[j].copy()
                if labelMat[i] != labelMat[j]:
                    L = max(0, alphas[j] - alphas[i])
                    H = min(C, C + alphas[j] - alphas[i])
                else:
                    L = max(0, alphas[j] + alphas[i] - C)
                    H = min(C, alphas[j] + alphas[i])
                if L==H: print ("L==H"); continue
                eta = 2.0 * dataMatrix[i,:]*dataMatrix[j,:].T - dataMatrix[i,:]*dataMatrix[i,:].T - dataMatrix[j,:]*dataMatrix[j,:].T
                if eta >= 0: print ("eta>=0"); continue
                alphas[j] -= labelMat[j]*(Ei - Ej)/eta
                alphas[j] = clipAlpha(alphas[j],H,L)
                if abs(alphas[j] - alphaJold) < 0.00001: print ("j not moving enough"); continue
                alphas[i] += labelMat[j]*labelMat[i]*(alphaJold - alphas[j])#update i by the same amount as j
                                                                        #the update is in the oppostie direction
                b1 = b - Ei- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[i,:].T - labelMat[j]*(al