本章内容:
- k-近邻分类算法
- 从文本文件中解析和导入数据
- 使用Matplotlib创建扩散图
k-近邻算法
优点:精度高,对异常值不敏感,无数据输入假定。
缺点:计算复杂度高、空间复杂度高。
适用数据范围:数值型和标称型
k-近邻算法的一般流程
(1)收集数据:可以使用任何方法
(2)准备数据:距离计算所需要的数值,最好是结构化的数据格式。
(3)分析数据:可以使用任何方式。
(4)训练算法:此步骤不适用于k-近邻算法。(无监督算法不需要训练这一步骤)
(5)测试算法:计算错误率。
(6)使用算法:首先需要输入样本数据和结构化的输出结果,然后运行k-近邻算法判定输入数据分别属于哪个分类,最后应用对计算出的分类执行后续的处理。
k-近邻算法伪代码
对未知类别属性的数据集中的每个点依次执行以下操作:
(1)计算已知类别数据集中的点与当前点之间的距离;
(2)按照距离递增次序排序;
(3)选取与当前点距离最小的k个点;
(4)确定前k个点所在类别的出现频率;
(5)返回前k个点出现频率最高的类别作为当前点的预测分类。
示例1:在约会网站上使用k-近邻算法
(1)收集数据:提供文本文件
(2)准备数据:使用Python解析文本文件。
(3)分析数据:使用Matplotlib画二维扩散图。
(4)训练算法:此步骤不适用于k-近邻算法。(无监督算法不需要训练这一步骤)
(5)测试算法:使用海伦提供的部分数据作为测试样本。
(6)使用算法:产生简单的命令行程序,然后海伦可以输入一些特征数据已判断对方是否为自己喜欢的类型。
'''
Created on 22/11/2019
kNN: k Nearest Neighbors
input: inX:用于分类的输入向量 (1*N)
dataSet:输入的样本训练集(N*M)
labels:标签向量(1*M)
k:用于选择最近邻居的数目,其中标签向量的元素和矩阵dataSet的行数相同。
output:最可能的分类标签
'''
from numpy import * #科学计算包Numpy
import operator #运算符模块
import matplotlib
import matplotlib.pyplot as plt
def createDataSet(): #创建数据集
group = array([[1.0,1.1],[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
labels = ['A','A','A','B','B']
return group,labels
def classify0(inX,dataSet,labels,k):
dataSetSize = dataSet.shape[0] #输出4
#使用欧式距离公式求出两个向量点xA和xB之间的距离
diffMat = tile(inX,(dataSetSize,1))- dataSet
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances**0.5
# argsort函数返回的是数组值从小到大的索引值
sortedDistIndicies = distances.argsort() #输出为[2,3,1,0]
classCount = {} #创建字典,将classCount字典分解为元组列表
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
#这里还用到了dict.get(key, default=None)函数,key就是dict中的键voteIlabel,
# 如果不存在则返回一个0并存入dict,如果存在则读取当前值并+1;
classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
# items()将dict分解为元组列表,operator.itemgetter(1)表示按照第二个元素的次序对元组进行排序。
# reverse=True 即按照从大到小的次序排序,这样最后输出sortedClassCount[0][0]
# 即返回频率最高的标签。
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),
reverse=True)
return sortedClassCount[0][0]
def file2matrix(filename):
fr = open(filename)
arrayOLines = fr.readlines()
numberOfLines = len(arrayOLines)
returnMat = zeros((numberOfLines,3))
classLabelVector = []
index = 0
for line in arrayOLines:
line = line.strip() #截取掉所有的回车字符
listFromLine = line.split('\t') #使用tab字符\t将上一步得到的整行数据分割成一个元素列表。
returnMat[index,:] = listFromLine[0:3]
classLabelVector.append(int(listFromLine[-1]))
index += 1
return returnMat,classLabelVector
# 准备数据:归一化数值
def autoNorm(dataSet):
minVals = dataSet.min(0) #min(0)中的参数0使得函数可以从列中选取最小值,而不是选取当前行的最小值。
maxVals = dataSet.max(0)
ranges = maxVals - minVals
normDataSet = zeros(shape(dataSet))
m = dataSet.shape[0]
normDataSet = dataSet - tile(minVals,(m,1))
normDataSet = normDataSet/tile(ranges,(m,1))
return normDataSet,ranges,minVals
# 分类器针对约会网站的测试代码
def datingClassTest():
hoRatio = 0.10
datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
normMat,ranges,minVals = autoNorm(datingDataMat)
m = normMat.shape[0]
numTestVecs = int(m*hoRatio)
errorCount = 0.0
for i in range(numTestVecs):
classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],
datingLabels[numTestVecs:m],4)
print("the classifier came back with: %d, the real answer is: %d"
%(classifierResult,datingLabels[i]))
if (classifierResult != datingLabels[i]): errorCount += 1.0
print("the total error rate is: %f"%(errorCount/float(numTestVecs)))
# 使用算法:构建完整可用系统
def classifyPerson():
resultList = ['not at all','in small doses','in large doses']
percentTats = float(input("percentage of time spent playing video games?"))
ffMiles = float(input("frequent flier miles earned per year?"))
iceCream = float(input("liters of ice cream consumed per year?"))
datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
normMat, ranges, minVals = autoNorm(datingDataMat)
inArr = array([ffMiles,percentTats,iceCream])
classifierResult = classify0((inArr-minVals)/ranges,normMat,datingLabels,3)
print("You will probably like this person: ",resultList[classifierResult - 1])
if __name__ == "__main__":
# group,labels = createDataSet()
# print(group)
# print(labels)
# print(classify0([0,0],group,labels,3))
# print(group.shape) #输出为(4,2)
# a = [0,0]
# print(tile(a,(4,1))-group)
# b = (tile(a,(4,1))-group)**2
# print(b)
# print(b.sum())
# print(b.sum(axis=1))
# print(b.sum(axis=1)**0.5)
# c=b.sum(axis=1)**0.5
# print(c.argsort()) #列表升序的索引
# # 准备数据:从文本文件中解析数据
# datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
# print(datingDataMat)
# print(datingLabels[:20])
# # 准备数据:归一化数值
# normMat,ranges,minVals = autoNorm(datingDataMat)
# print(normMat)
# print(ranges)
# print(minVals)
# 使用Matplotlib创建散点图
# fig = plt.figure()
# ax = fig.add_subplot(111)
# ax.scatter(datingDataMat[:,1],datingDataMat[:,2],
# 15.0*array(datingLabels),15.0*array(datingLabels)) #利用变量datingLabels
# # 存储的类标签属性,在散点图上绘制了色彩不等、尺寸不同的点。
# bx = fig.add_subplot(111)
# bx.scatter(datingDataMat[:,0], datingDataMat[:,1],
# 10.0 * array(datingLabels), 10.0 * array(datingLabels))
# plt.show()
# # 分类器针对约会网站的测试代码
# print(datingClassTest())
# 约会网站预测函数
print(classifyPerson())
示例2:手写识别系统
(1)收集数据:提供文本文件
(2)准备数据:编写函数img2vector(),将图像格式转换为分类器使用的。
(3)分析数据:在Python命令提示符中检查数据,确保它符合要求。
(4) 训练算法:此步骤不适用于k-近邻算法。
(5) 测试算法:编写函数使用提供的部分数据集作为测试样本,测试样本与非测试样本的区别在于测试样本是已经完成分类的数据,如果预测分类与实际类别不同,则标记为一个错误。
(6) 使用算法:本例没有完成此步骤,可以自行构建完整的应用程序,从图像中提取数字,并完成数字识别,美国的邮件分拣系统就是一个实际运行的类似系统。
from numpy import * #科学计算包Numpy
import operator #运算符模块
import matplotlib
import matplotlib.pyplot as plt
from os import listdir #函数listdir可以列出给定目录的文件名
def classify0(inX,dataSet,labels,k):
dataSetSize = dataSet.shape[0] #输出4
#使用欧式距离公式求出两个向量点xA和xB之间的距离
diffMat = tile(inX,(dataSetSize,1))- dataSet
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances**0.5
# argsort函数返回的是数组值从小到大的索引值
sortedDistIndicies = distances.argsort() #输出为[2,3,1,0]
classCount = {} #创建字典,将classCount字典分解为元组列表
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
#这里还用到了dict.get(key, default=None)函数,key就是dict中的键voteIlabel,
# 如果不存在则返回一个0并存入dict,如果存在则读取当前值并+1;
classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
# items()将dict分解为元组列表,operator.itemgetter(1)表示按照第二个元素的次序对元组进行排序。
# reverse=True 即按照从大到小的次序排序,这样最后输出sortedClassCount[0][0]
# 即返回频率最高的标签。
sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),
reverse=True)
return sortedClassCount[0][0]
# 准备数据:将图像转换为测试向量
def img2vector(filename):
returnVect = zeros((1,1024)) # 32*32=1024
fr = open(filename)
for i in range(32):
lineStr = fr.readline()
for j in range(32):
returnVect[0,32*i+j] = int(lineStr[j])
return returnVect
# 测试算法:使用k-近邻算法识别手写数字
def handwritingClassTest():
hwLabels = []
trainingFileList = listdir('digits/trainingDigits') #列出该目录下的文件名
m = len(trainingFileList)
trainingMat = zeros((m,1024))
for i in range(m):
fileNameStr = trainingFileList[i]
fileStr = fileNameStr.split('.')[0]
classNumStr = int(fileStr.split('_')[0])
hwLabels.append(classNumStr)
trainingMat[i,:] = img2vector('digits/trainingDigits/%s'%fileNameStr)
testFileList = listdir('digits/testDigits')
errorCount = 0.0
mTest = len(testFileList)
for i in range(mTest):
fileNameStr = testFileList[i]
fileStr = fileNameStr.split('.')[0]
classNumStr = int(fileStr.split('_')[0])
vectorUnderTest = img2vector('digits/testDigits/%s'%fileNameStr)
classifierResult = classify0(vectorUnderTest,trainingMat,hwLabels,3)
print("the classifier came back with: %d,the real answer is: %d"
%(classifierResult,classNumStr))
if (classifierResult != classNumStr):errorCount += 1.0
print("\nthe total number of error is: %d"%errorCount)
print("\nthe total error rate is: %f"%(errorCount/float(mTest)))
if __name__ == "__main__":
# # 手写数字识别:将图像转换为测试向量
# testVector = img2vector('digits/testDigits/0_13.txt')
# print(testVector[0,0:31])
# print(testVector[0,31:62])
# 手写数字识别系统的测试
print(handwritingClassTest())
'''the total number of error is: 10
the total error rate is: 0.010571'''