PS:该系列数据都可以在图灵社区(点击此链接)中随书下载中下载(如下)
1 k-近邻算法概述
简单地说,k-近邻算法(kNN)采用测量不同特征值之间的距离方法进行分类。
优点:精度高、对异常值不敏感、无数据输入假定。
缺点:计算复杂度高、空间复杂度高。
适用数据范围:数值型和标称型
1.1 准备:适用Python导入数据
创建kNN.py的Python模块,在kNN.py文件中编写如下代码:
from numpy import *
import operator
from os import listdir
def createDataSet():
group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
labels = ['A', 'A', 'B', 'B']
return group, labels
进入python交互式开发环境进行测试:
1.2 实施kNN算法
伪代码:
对未知类别属性的数据集中的每个点依次执行以下操作:
1. 计算已知类别数据集中的点与当前点之间的距离;
2. 按照距离递增次序排序;
3. 选取与当前点距离最小的k个点;
4. 确定前k个点所在类别的出现频率;
5. 返回前k个点出现频率最高的类别作为当前点的预测分类
kNN程序清单:
def classify0(inX, dataSet, labels, k):
'''kNN算法'''
dataSetSize = dataSet.shape[0]
#tile函数补全矩阵
diffMat = tile(inX, (dataSetSize, 1)) - dataSet
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances ** 0.5
#排序并返回原数组的索引
sortedDistIndecies = distances.argsort()
classCount = {}
for i in range(k):
#遍历前k个近的元素,进行统计
voteIlabel = labels[sortedDistIndecies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
这里的距离适用欧氏距离,例如计算两个向量点A(x, y)和B(x, y)之间的距离:
d
=
(
A
x
−
B
x
)
2
+
(
A
y
−
B
y
)
2
d = \sqrt{(A_x - B_x)^2 + (A_y - B_y)^2}
d=(Ax−Bx)2+(Ay−By)2
因为重写了kNN.py,所以先需要调用reload()函数重新载入模块为了预测数据所在分类,再进行测试:
2 适用kNN改进约会网站的配对效果
2.1 从文本文件中解析数据
数据存放在文本文件datingTestSet.txt中,每个样本数据占据一行,总共1000行。样本主要包含以下三种特征:
- 每年获得的飞行常客里程数
- 玩视频游戏所耗时间百分比
- 每周消费的冰淇淋公升数
该数据输入分类器之前必须先处理数据格式使分类器可以正确接收。为此创建file2matrix函数来处理输入格式问题:
def file2matrix(filename):
'''将文本记录转换为numpy的解析程序'''
with open(filename, 'r') as fileObject:
arrayLines = fileObject.readlines()
numberOfLines = len(arrayLines)
returnMat = zeros((numberOfLines, 3))
classLabelVector = [] #分类标签
index = 0
for line in arrayLines:
line = line.strip()
listFromLine = line.split('\t')
#选取前3个元素,存储到特征矩阵
returnMat[index, :] = listFromLine[0 : 3]
classLabelVector.append(int(listFromLine[-1]))
index += 1
return returnMat, classLabelVector
同样重新载入kNN.py,并进行数据测试:
2.2 分析数据:适用Matplotlib创建散点图
在Python命令行环境输入下列命令:
得到如下图像:
2.3 准备数据:归一化数值
处理不同取值范围的特征值时,通常采用数值归一化方法,如将取值范围处理为0到1或-1到1之间。利用f公式
n
e
w
V
a
l
u
e
=
(
o
l
d
V
a
l
u
e
−
m
i
n
)
/
(
m
a
x
−
m
i
n
)
newValue = (oldValue - min) / (max - min)
newValue=(oldValue−min)/(max−min)可以将任意取值范围的特征值转化为0到1区间内的值:
其中min和max分别是数据集中的最小特征值和最大特征值。因此在kNN.py中增加一个新函数autoNorm(),将数字特征值转化为0到1区间。
def autoNorm(dataSet):
'''归一化特征值'''
minVals = dataSet.min(0)
maxVals = dataSet.max(0)
ranges = maxVals - minVals
normDataSet = zeros(shape(dataSet))
m = dataSet.shape[0]
normDataSet = dataSet - tile(minVals, (m, 1))
normDataSet = normDataSet / tile(ranges, (m, 1))
return normDataSet, ranges, minVals
同样在Python命令行中,重新加载kNN.py并进行测试:
2.4 测试算法:作为完成程序验证分类器
def datingClassTest():
'''分类器针对约会网站的测试代码'''
hoRatio = 0.10
datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
normMat, ranges, minVals = autoNorm(datingDataMat)
m = normMat.shape[0]
numTestVecs = int(m * hoRatio)
errorCount = 0.0
for i in range(numTestVecs):
classifyResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
print("the classify back with: " + str(classifyResult) + ", the real answer is : " + str(datingLabels[i]))
if classifyResult != datingLabels[i] :
errorCount += 1
print("the total error rate is:" + str(errorCount / float(numTestVecs)))
运行测试结果:
2.5 使用算法:构建完整可用系统
def classifyPerson():
'''约会网站预测函数'''
resultList = ['not at all', 'in small doses', 'in large doses']
percentTats = float(input("percentage of time spent playing video game? "))
ffMiles = float(input("frequent flier miles earned per years? "))
iceCream = float(input("liters of ice cream consumed per years? "))
datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
normMat, ranges, minVals = autoNorm(datingDataMat)
inArr = array([ffMiles, percentTats, iceCream])
classifierResult = classify0((inArr - minVals) / ranges, normMat, datingLabels, 3)
print("You will probably like this person: ", resultList[classifierResult - 1])
运行测试结果:
3 手写识别系统
3.1 准备数据:将图像转换为测试向量
为了方便,这里图像以32×32矩阵的形式存储在文本格式,其中trainingDigits目录中是训练集,testDigits目录中是测试集,其中一个txt文件存储内容(数字“5”)如下:
为了使用前面编写的分类器,必须将图像格式处理为一个向量,将32×32的二进制图像矩阵转化1×1024向量,编写img2vector函数:
def img2vector(filename):
'''32×32的二进制图像矩阵转换成1×1024的向量'''
returnVect = zeros((1, 1024))
with open(filename, 'r') as fileObject:
for i in range(32):
lineStr = fileObject.readline()
for j in range(32):
returnVect[0, 32 * i + j] = int(lineStr[j])
return returnVect
3.2 测试算法:使用kNN识别手写数字
编写测试函数handwritingClassTest()函数:
def handwritingClassTest():
'''手写数字识别系统的测试代码'''
hwLabels = []
#获取目录内容
trainingFileList = listdir('trainingDigits')
m = len(trainingFileList)
trainingMat = zeros((m, 1024))
for i in range(m):
#从文件名解析分类数据
fileNameStr = trainingFileList[i]
fileStr = fileNameStr.split('.')[0]
classNumStr = int(fileStr.split('_')[0])
hwLabels.append(classNumStr)
trainingMat[i, :] = img2vector('trainingDigits/' + fileNameStr)
testFileList = listdir('testDigits')
errorCount = 0.0
mTest = len(testFileList)
for i in range(mTest):
fileNameStr = testFileList[i]
fileStr = fileNameStr.split('.')[0]
classNumStr = int(fileStr.split('_')[0])
vectorUnderTest = img2vector('testDigits/' + fileNameStr)
classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
print("the classifier came back with: " + str(classifierResult) + ", the real answer is: " + str(classNumStr))
if classifierResult != classNumStr:
errorCount += 1
print("\nthe total number of errors is: " + str(errorCount))
print("\nthe total error rate is " + str(errorCount / float(mTest)))
运行测试结果如下(省略了中间的一些结果):
实际使用这个算法时。算法的执行效率不高。因为算法需要为每个测试向量做2000次距离计算,每个距离计算包括了1024个维度浮点运算,总计执行9000次,此外还需为测试向量准备2MB的存储空间。
3 小结
kNN算法时分类数据最简单最有效的算法,kNN时基于实例的学习,使用算法时必须有接近实际数据的训练样本数据。kNN必须保存全部数据集,如果训练数据集很大,必须使用大量的存储空间。此外,由于必须对数据集中的每个数据计算距离值,实际使用时可能非常耗时。
kNN的另一个缺陷是它无法给出任何数据的基础结构信息,因此无法知晓平均实例样本和典型实例样本具有什么特征。