【P20 分类算法及应用实践】支持向量机

支持向量机

1 支持向量机基本原理

1.1 分类问题

1.2 支持向量机的本质

1.2.1 支持向量

1.2.2 允许误差

1.2.3 降维打击

1.2.4 核函数

2 支持向量机实战

2.1 机器学习库 SKlearn

2.1.1 手写体识别

在上一节的KNN手写体识别的基础上，改动了如上图所示四行代码

import numpy as np 
from os import listdir # 读取文件夹下的所有文件
from sklearn import svm

# 图片转矩阵
def img2vector(filename):
    returnVect = np.zeros((1,1024)) # 每个图片矩阵32*32，存为1行
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j])
    return returnVect

#读取训练集数据
hwLabels = []
trainingFileList = listdir('E:\\Progarm\\Py_Program\\HandwritingRecognition\\trainingDigits')
m = len(trainingFileList)
trainingMat = np.zeros((m,1024))
for i in  range(m):
    fileNameStr = trainingFileList[i]
    fileStr = fileNameStr.split('.')[0]
    classNumStr = int(fileStr.split('_')[0])
    hwLabels.append(classNumStr)
    trainingMat[i,:] = img2vector('E:\\Progarm\\Py_Program\\HandwritingRecognition\\trainingDigits\\%s' % fileNameStr)


model = svm.SVC()
model.fit(trainingMat,hwLabels)



# 读取测试集
testFileList = listdir('E:\\Progarm\\Py_Program\\HandwritingRecognition\\testDigits')
k = 3
errorCount = 0.0
mTest = len(testFileList)
for i in range(mTest):
    fileNameStr = testFileList[i]
    fileStr = fileNameStr.split('.')[0]
    classNumStr = int(fileStr.split('_')[0])
    vectorUnderTest = img2vector('E:\\Progarm\\Py_Program\\HandwritingRecognition\\testDigits\\%s' % fileNameStr)

    classifierResult = model.predict(vectorUnderTest)

    print('KNN识别的结果是： %d , 实际是： %d' % (classifierResult,classNumStr))
    if classifierResult != classNumStr:
        errorCount +=1.0
  
print('训练集数量： %d ,测试集数量： %d' % (m,mTest))
print('错误识别数 : %d , 正确率 ： %f ' % (errorCount , (1-errorCount/float(mTest))*100))

结果比KNN差一点

2.1.2 电影类型分类

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm

# 1. 构建数据集
# 训练集，删去未知点（18，90）
fight=(3,2,1,101,99,98)
kiss=(104,100,81,10,5,2)

filmtype=(1,1,1,2,2,2) # 电影类型，爱情片用1表示，动作片2表示
plt.scatter(fight,kiss,c=filmtype)# c颜色，分别区分三种类型电影的颜色

x=np.array([fight,kiss])  #训练集，
x=x.T
y=np.array(filmtype)# 输出

print(x)
print(y)


# 2. 计算未知样本和每个训练集样本的距离
xx=np.array([18,90])



model = svm.SVC()
model.fit(x,y)
type =  model.predict(xx.reshape(1,-1))

print('output',type)

2. 1.3 约会网站

import numpy as np 
import matplotlib.pyplot as plt 
from sklearn import svm

# 文件转矩阵处理
def file2matrix(filename):  
    fr = open(filename)  
    numberOfLines = len(fr.readlines())      
    returnMat = np.zeros((numberOfLines,3))        
    classLabelVector = []     # 创建空的向量存放分类标签                  
    fr = open(filename)  
    index = 0 
    for line in fr.readlines():
        line = line.strip()  #删除每行头尾的空白字符
        listFromLine = line.split('\t') # 每行的四个元素是以tab分开的，进行切片 
        returnMat[index,:] = listFromLine[0:3]  #将前三列存储在Mat矩阵中
        if listFromLine[-1] == 'didntLike':
            classLabelVector.append(1)
        elif listFromLine[-1] == 'smallDoses':
            classLabelVector.append(2)
        elif listFromLine[-1] == 'largeDoses':
            classLabelVector.append(3)
        index += 1
    return returnMat,classLabelVector

# 数据归一化
def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    normDataSet = np.zeros(dataSet.shape)
    normDataSet = (dataSet-minVals)/(maxVals-minVals)
    return normDataSet


datingDataMat,datingLabels = file2matrix('datingTestSet.txt')
dataSet=autoNorm(datingDataMat)
print(dataSet)

#分类器模型训练集 测试集
m = 0.8 #设置训练集的比例
dataSize = dataSet.shape[0] #取数据的全部行
trainSize = int(m*dataSize)
testSize = int((1-m)*dataSize)+1  # 199.9999python向下取整，199，故加1
print('数据总行数 ：',dataSize,'  训练集 ：',trainSize,' 测试集 :',testSize)

model = svm.SVC()
model.fit(dataSet[0:trainSize,:],datingLabels[0:trainSize])


result=[]
error=0
for i in range(testSize):
    result = model.predict(dataSet[trainSize+i,:].reshape(1,-1))
    if result != datingLabels[trainSize+i]:
        error=+1
         
print('错误率 ：',error/testSize)