机器学习——K近邻算法（KNN）

K近邻算法的原理：存在一个样本集合，其中包括样本和其对应的标签，计算新数据的标签与各个样本标签的相似度，选择最相似的K（一般不大于20）个标签类别，标签类别出现次数最多的标签就是新数据的标签。

下面用一个简单的例子介绍一下KNN算法。

1.准备数据

from numpy import *
import operator

group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1],[2,1]])
labels = ['A','A','B','B','A']

创建了5个点，标签分别如labels中所示。

2.KNN算法步骤

a、计算新数据与样本数据之间的距离，即高中知识中的求两点之间的距离；

def classify0(inX, dataSet, labels, k):#inX表示当前点的坐标，dataSet表示数据集矩阵，labels表示标签。
    dataSetSize = dataSet.shape[0]#获得数据集矩阵的行数
    diffMat = tile(inX, (dataSetSize,1)) - dataSet#将当前点坐标复制dataSetSize次，分别减去样本点坐标，获得当前点与各个点的差
    sqDiffMat = diffMat**2 #平方

    sqDistances = sqDiffMat.sum(axis=1)#横纵坐标差的平方的和
    distances = sqDistances**0.5#开方，得到两点之间的距离

b、按照递增顺序排序；

sortedDistIndicies = distances.argsort()

c、计算前K个点所在类别出现的频率；

classCount={}#类别出现的次数          
for i in range(k):
    voteIlabel = labels[sortedDistIndicies[i]]#按排序依次获得前K个标签
    classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1#标签计数
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)#获得出现次数最多的标签
    print sortedClassCount[0][0]

3、下面给出完整的python代码，

from numpy import *
import operator

group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1],[2,1]])
labels = ['A','A','B','B','A']
def classify0(inX, dataSet, labels, k):
    
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    print distances
    sortedDistIndicies = distances.argsort()
    print sortedDistIndicies     
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    print sortedClassCount[0][0]

classify0([0,0], group, labels, 3)#预测（0,0）这个点应该属于的标签