K-近邻算法的简单实施例子

K-近邻算法的伪代码：

对未知类别属性中的点分别依次执行以下操作：

1.计算出当前点与已知类别数据集中的点的距离；

2.按照距离大小从小到大排序；

3.选出与当前点距离最小的前K个点；

4.确定这前K个点所在的类别出现的频率；

5.返回前k个点出现最高的频率的类别，也就是当前点的类别预测。

代码实现：

from numpy import *
import operator#运算符模块

def createDataSet():#创建数据集和标签
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group, labels
	
	
def classify0(inX, dataSet, labels, k):#K-近邻算法，inX是输入变量，也就是进行分类的对象；
                                       #DataSet是输入的样本训练集；标签向量是labels，k是选择最近邻居的数目
    #计算距离
	dataSetSize = dataSet.shape[0]
	diffMat = tile(inX, (dataSetSize, 1)) - dataSet#tile就是把数组沿各个方向复制
	sqDiffMat = diffMat ** 2
	sqDistances = sqDiffMat.sum(axis=1)#sum(axis=1)是对多维数组的行进行相加得到一个新的矩阵
	distances = sqDistances ** 0.5
	
	#选择距离最小的k个点
	sortedDistIndicies = distances.argsort()#argsort()函数是将x中的元素从小到大排列，提取其对应的index(索引)，然后输出到y
	classCount={}
	for i in range (k):
		voteIlabel = labels[sortedDistIndicies[i]]#获取从前三个距离最小的点的类别
		classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1#dict.get(key, default=None)，返回指定键的值，如果值不在字典中返回默认值 None
	
	#排序
	sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
	#operator模块提供的itemgetter函数用于获取对象的哪些维的数据，参数为一些序号。
	#sorted函数用来排序，sorted(iterable[, cmp[, key[, reverse]]])
	#key的参数为一个函数或者lambda函数。所以itemgetter可以用来当key的参数
	#reverse=True降序，默认false升序
	#这里是对classCount.items()的第二个域进行降序排列

	return sortedClassCount[0][0]#返回出现频率最高的类别

在交互式开发环境运行结果：