机器学习实战之支持向量机（SVM）（四）利用完整Platt SMO算法加速优化

转载请注明作者和出处：https://blog.csdn.net/weixin_45814668
知乎：https://www.zhihu.com/people/qiongjian0427
Git：https://github.com/qiongjian/Machine-learning/
运行环境：anaconda—jupyter notebook
Python版本： Python3.x

更多精彩内容，尽在微信公众号，欢迎您的关注：

Platt SMO算法

Platt SMO算法是通过一个外循环来选择第一个alpha值的，并且其选择过程会在两种方式之间进行交替：一种方式是在所有数据集上进行单遍扫描，另一种方式则是在非边界alpha中实现单遍扫描。

而所谓非边界alpha指的就是那些不等于边界0或C的alpha值。对整个数据集的扫描相当容易，而实现非边界alpha值的扫描时，首先需要建立这些alpha的列表，然后再对这个表进行遍历。同时，该步骤会跳过那些已知的不会改变的alpha值。

1. 完整版Platt SMO的支持函数

代码如下：

class optStruct:
    def __init__(self,dataMatIn, classLabels, C, toler):  
        self.X = dataMatIn
        self.labelMat = classLabels
        self.C = C
        self.tol = toler
        self.m = np.shape(dataMatIn)[0]
        self.alphas = np.mat(np.zeros((self.m,1)))
        self.b = 0
        self.eCache = np.mat(np.zeros((self.m,2))) 

def calcEk(oS, k):#计算e并返回
    fXk = float(np.multiply(oS.alphas,oS.labelMat).T*(oS.X*oS.X[k,:].T)) + oS.b
    Ek = fXk - float(oS.labelMat[k])
    return Ek

def selectJ(i, oS, Ei):#选择第二个alpha
    maxK = -1; maxDeltaE = 0; Ej = 0
    oS.eCache[i] = [1,Ei]  
    validEcacheList = np.nonzero(oS.eCache[:,0].A)[0]#构建一个非零表
    if (len(validEcacheList)) > 1:
        for k in validEcacheList:
            if k == i: continue 
            Ek = calcEk(oS, k)
            deltaE = abs(Ei - Ek)
            if (deltaE > maxDeltaE):
                maxK = k; maxDeltaE = deltaE; Ej = Ek
        return maxK, Ej
    else:   
        j = selectJrand(i, oS.m)
        Ej = calcEk(oS, j)
    return j, Ej

def updateEk(oS, k):#计算误差值并返回缓存中
    Ek = calcEk(oS, k)
    oS.eCache[k] = [1,Ek]

2