引言
本节介绍kNN算法的基本理论以及如何使用距离测量的方法分类物品。其次,将使用python从文本文件中导入并解析数据,然后,当存在许多数据来源时,如何避免计算距离时可能碰到的一些常见的错识。
k-近邻算法概述
k-近邻(k Nearest Neighbors)算法采用测量不同特征之间的距离方法进行分类。它的工作原理是:存在一个样本数据集合,并且样本集中每个数据都存在标签,即我们知道样本每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
k-近邻算法的优点是精度高,对异常值不敏感,无数据输入假定;缺点是计算复杂度高、空间复杂度高。适用于数值和标称型数据。
准备知识:使用python导入数据
首先,创建名为kNN.py的python模块,然后添加下面代码:
from numpy import *
import operator
def createDataSet():
group = array([[1.0,1.1],[1.0,1.0],[0,0.1]])
labels =['A','A','B','B']
return group,labels
进入python开发环境之后,输入以下命令如下:
>>> import kNN
>>> group,labels =kNN.createDataSet()
>>> group
array([[ 1. , 1.1],
[ 1. , 1. ],
[ 0. , 0.1]])
>>> labels
['A', 'A', 'B', 'B']
实施kNN算法
使用k-近邻算法将每组数据划分到某个类中,其伪代码如下:
对未知类别属性的数据集中的每个点依次执行以下操作:
- 计算已知类别数据集中的点与当前点之间的距离;
- 按照距离递增交序排序;
- 选取与当前点距离最小的k个点;
- 确定前k个点所在类别的出现频率;
- 返回前k个点出现频率最高的类别作为当前点的预测分类。
python函数classify( )程序如下所示:
def classify(inX, dataSet, labels, k):
dataSetSize = dataSet.shape[0]
diffMat = tile(inX, (dataSetSize,1)) - dataSet
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances**0.5
sortedDistIndicies = distances.argsort()
classCount={}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.iteritems(),
key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
注:classify( )函数有4个输入参数:用于分类的输入向量是inX,输入的训练样本集为dataSet,标签向量为labels,最后的参数k表示用于选择最近邻据的数目,其中标签向量的元素数目和矩阵dataSet的行数相同。
示例:使用k-近邻算法改进约会网站的配对结果
在约会网站上使用k-近邻算法的步骤:
- 收集数据:提供文本文件。
- 准备数据:使用python解析文本文件。
- 分析数据:使用Matplotlib画二维扩散图。
- 训练算法:此步骤不适用于k-近邻算法。
- 测试算法:使用部分数据作为测试样本。测试样本与非测试样本的区别在于:测试样本是已经完成分类的数据,如果预没分类与实际类别不同,则标记为一个error.
- 使用算法:产生简单的命令行程序,然后可以输入一些特征数据以判断对方是否为自己喜欢的类型。
准备数据:从文本文件中解析数据
将数据存放到文本文件,每一个样本数据占据一行,总共1000行。首先,必须将特处理数据改变为分类器可以接受的格式。在kNN.py中创建file2matrix的函数,以此来处理输入格式问题。将文本记录转换为NumPy的解析程序如下所示:
def file2matrix(filename):
fr = open(filename)
numberOfLines = len(fr.readlines()) #get the number of lines in the file
returnMat = zeros((numberOfLines,3)) #prepare matrix to return
classLabelVector = [] #prepare labels return
fr = open(filename)
index = 0
for line in fr.readlines():
line = line.strip()
listFromLine = line.split('\t')
returnMat[index,:] = listFromLine[0:3]
classLabelVector.append(int(listFromLine[-1]))
index += 1
return returnMat,classLabelVector
分析数据:使用Matplotlib创建散点图
首先我们使用Matplotlib制作原始数据的散点图.如下程序所示:
import matplotlib
import matplotlib.pyplot as plt
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:,1],datingDataMat[:,2])
plt.show( )
准备数据:归一化数值
程序如下所示:
def autoNorm(dataSet)
minVal =dataSet.min(0)
maxVal =dataSet.max(0)
ranges =maxVal-minVal
normDataSet = zeros(shape(dataSet))
m = dataSet.shap[0]
normDataSet = dataSet - tile(minVal,(m,1))
normDataSet = normDataSet/tile(ranges.(m,1))
return normDataSet,ranges, minVal
参考资料
[1]Peter Harrington, "Machine Learning in Action" ISBN 9781617290183,Printed in the United States of America. Manning Publications.
关于Machine Learning &Pattern Recognition更多讨论与交流,敬请关注本博客和新浪微博songzi_tea.
转自:http://blog.csdn.net/songzitea/article/details/20789079
参考:http://www.cnblogs.com/finallyliuyu/archive/2010/09/26/1836285.html