深入解析python版SVM源码系列--简化版SMO算法
SVM使用SMO算法来解决其中涉及到的二次规划问题。一个简单版本的SMO算法的实现如下:
''' 随机选择随机数,不等于J ''' def selectJrand(i,m): j=i #we want to select any J not equal to i while (j==i): j = int(random.uniform(0,m)) # 一直在挑选随机数j,直到不等于i,随机数的范围在0~m return j # 返回挑选好的随机数 ''' 门限函数 ''' def clipAlpha(aj,H,L): # 最大不能超过H,最小不能低于L if aj > H: aj = H if L > aj: aj = L return aj ''' 简化版的SMO函数 ''' def smoSimple(dataMatIn, classLabels, C, toler, maxIter): # 输入数据,标记,常数C,容错率,最大迭代次数 dataMatrix = mat(dataMatIn); # 转换成矩阵 labelMat = mat(classLabels).transpose() # 转换成矩阵,并转置,标记成为一个列向量,每一行和数据矩阵对应 m,n = shape(dataMatrix) # 行,列 b = 0; # 参数b的初始化 alphas = mat(zeros((m,1))) # 参数alphas是个list,初始化也是全0,大小等于样本数 iter = 0 # 当前迭代次数,maxIter是最大迭代次数 while (iter < maxIter): # 当超过最大迭代次数,推出 alphaPairsChanged = 0 # 标记位,记录alpha在该次循环中,有没有优化 for i in range(m): # 第i个样本 fXi = float(multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[i,:].T)) + b # 第i样本的预测类别 Ei = fXi - float(labelMat[i])#if checks if an example violates KKT conditions # 误差 #是否可以继续优化 if ((labelMat[i]*Ei < -toler) and (alphas[i] < C)) or ((labelMat[i]*Ei > toler) and (alphas[i] > 0)): j = selectJrand(i,m) # 随机选择第j个样本 fXj = float(multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[j,:].T)) + b # 样本j的预测类别 Ej = fXj - float(labelMat[j]) # 误差 alphaIold = alphas[i].copy(); # 拷贝,分配新的内存 alphaJold = alphas[j].copy(); if (labelMat[i] != labelMat[j]): L = max(0, alphas[j] - alphas[i]) H = min(