# 机器学习实战python实例（2）SVM

http://www.thebigdata.cn/JieJueFangAn/12661.html
http://www.wengweitao.com/zhi-chi-xiang-liang-ji-smoxu-lie-zui-xiao-zui-you-hua-suan-fa.html#fnref:calculate

# coding:utf-8
from numpy import *
import matplotlib.pyplot as plt

dataMat = []
labelMat = []
fr = open(filename)
lineArr = line.strip().split('\t')
dataMat.append([float(lineArr[0]), float(lineArr[1])])
labelMat.append(float(lineArr[2]))
return dataMat, labelMat

def selectJrand(i, m):
j = i
while j == i:
j = int(random.uniform(0, m))
return j

def clipAlpha(aj, H, L):
if aj > H:
aj = H
if aj < L:
aj = L
return aj

def smoSimple(dataMatIn, classLabels, C, toler, maxIter):
dataMatrix = mat(dataMatIn)
labelMat = mat(classLabels).transpose()
b = 0
m, n = dataMatrix.shape
alphas = mat(zeros((m, 1)))
Iter = 0
while Iter < maxIter:
alphaPairsChanged = 0
for i in xrange(m):
# y = wx + b, w = ∑αyx
fXi = float(multiply(alphas, labelMat).T * dataMatrix * dataMatrix[i, :].T) + b
Ei = fXi - float(labelMat[i])
# if α needs to be adjusted or it does not satisfy the ktt
if ((labelMat[i] * Ei < -toler) and (alphas[i] < C)) or ((labelMat[i] * Ei > toler) and (alphas[i] > 0)):
j = selectJrand(i, m)
fXj = float(multiply(alphas, labelMat).T * dataMatrix * dataMatrix[j, :].T) + b
Ej = fXj - float(labelMat[j])
alphaIold = alphas[i].copy()
alphaJold = alphas[j].copy()
if labelMat[i] != labelMat[j]:
L = max(0, alphas[j] - alphas[i])
H = min(C, C + alphas[j] - alphas[i])
else:
L = max(0, alphas[j] + alphas[i] - C)
H = min(C, alphas[j] + alphas[i])
if L == H:
print "L == H"
continue
eta = 2.0 * dataMatrix[i, :] * dataMatrix[j, :].T \
- dataMatrix[i, :] * dataMatrix[i, :].T \
- dataMatrix[j, :] * dataMatrix[j, :].T
if eta >= 0:
print "eta >= 0"
continue
alphas[j] -= labelMat[j] * (Ei - Ej) / eta
alphas[j] = clipAlpha(alphas[j], H, L)
if abs(alphas[j] - alphaJold) < 0.00001:
print "j not moving enough"
continue
alphas[i] += labelMat[j] * labelMat[i] * (alphaJold - alphas[j])
b1 = b - Ei \
- labelMat[i] * (alphas[i] - alphaIold) * dataMatrix[i, :] * dataMatrix[i, :].T \
- labelMat[j] * (alphas[j] - alphaJold) * dataMatrix[j, :] * dataMatrix[i, :].T
b2 = b - Ej \
- labelMat[i] * (alphas[i] - alphaIold) * dataMatrix[i, :] * dataMatrix[j, :].T \
- labelMat[j] * (alphas[j] - alphaJold) * dataMatrix[j, :] * dataMatrix[j, :].T
if 0 < alphas[i] < C:
b = b1
elif 0 < alphas[j] < C:
b = b2
else:
b = (b1 + b2) / 2.0
alphaPairsChanged += 1
print "iter: %d i:%d, pairs changed %d" % (Iter, i, alphaPairsChanged)
if alphaPairsChanged == 0:
Iter += 1
else:
Iter = 0
print "iteration number: %d" % Iter
return b, alphas

def show(dataArr, labelArr, alphas, b):
for i in xrange(len(labelArr)):
if labelArr[i] == -1:
plt.plot(dataArr[i][0], dataArr[i][1], 'or')
elif labelArr[i] == 1:
plt.plot(dataArr[i][0], dataArr[i][1], 'Dg')
# print alphas.shape, mat(labelArr).shape, multiply(alphas, mat(labelArr)).shape
c = sum(multiply(multiply(alphas.T, mat(labelArr)), mat(dataArr).T), axis=1)
minY = min(m[1] for m in dataArr)
maxY = max(m[1] for m in dataArr)
print minY, maxY
plt.plot([sum((- b - c[1] * minY) / c[0]), sum((- b - c[1] * maxY) / c[0])], [minY, maxY])
plt.plot([sum((- b + 1 - c[1] * minY) / c[0]), sum((- b + 1 - c[1] * maxY) / c[0])], [minY, maxY])
plt.plot([sum((- b - 1 - c[1] * minY) / c[0]), sum((- b - 1 - c[1] * maxY) / c[0])], [minY, maxY])
plt.show()

import SVM
from numpy import *

b, alphas = SVM.smoSimple(dataArr, labelArr, 0.6, 0.001, 40)
SVM.show(dataArr, labelArr, alphas, b)

• 本文已收录于以下专栏：

## 基于python的SVM 实例

• shenxiaoming77
• 2016年12月07日 17:45
• 2306

## 用Python开始机器学习（8：SVM支持向量机）

SVM 支持向量机
• lsldd
• 2014年11月29日 02:13
• 38936

## SVM 基本概念及Python实现方式

SVM（support vector machine）支持向量机： 注意：本文不准备提到数学证明的过程，一是因为有一篇非常好的文章解释的非常好：http://blog.csdn.net/v_july_...
• jerry81333
• 2016年11月16日 09:55
• 3394

## 机器学习算法与Python实践之（二）支持向量机（SVM）初级

• zouxy09
• 2013年12月12日 23:46
• 66623

## 机器学习实战python实例（2）SVM 训练数据

• 2016年09月01日 12:53
• 2KB
• 下载

## python实例2-写一个爬虫下载小功能

• qq_33932782
• 2017年01月02日 10:17
• 531

## 看懂这些例子，一天之内学会python2

• mengzhongsuiyi521
• 2016年03月01日 19:15
• 933

## 用python玩转selenium：2-入门实例及分析

selenium2入门 上篇-用python玩转selenium：1-准备环境已经介绍了selenium-python环境配置，或者说安装的python已经集成了selenium模块，现在我们就可以开...
• nhudx061
• 2015年02月07日 09:40
• 45229

## 机器学习实战python实例（2）SVM与核函数

• xiaonannanxn
• 2016年09月02日 14:12
• 2555

## python 支持向量机SVM实例解析

import numpy as npy from sklearn import svm import matplotlib.pyplot as plt'''加载数据''' x1 = [] y1 = [...
• a394268045
• 2017年12月28日 20:52
• 6111

举报原因： 您举报文章：机器学习实战python实例（2）SVM 色情 政治 抄袭 广告 招聘 骂人 其他 (最多只允许输入30个字)