k-近邻算法（KNN）--1简单原理介绍与实践---by香蕉麦乐迪

k近邻的原理：

1、计算没有标签的新数据与样本集中每一个样本的相似度

2、对相似度进行排序，取前面k个最相似的样本

3、前k个样本中，样本个数最多的类别，就是预测类别

简单实验：

样本集：4个样本，每个样本是一个点，有x y坐标

类别标签：样本集中的样本有两个类别，分别是a 和 b

k：我们取3

样本集如下：

样本数据：[1.0,1.1],   [1.0,1.0],   [0,0],   [0,0.1]

对应标签：    'a',           'a',             'b',         'b'

代码说明：

createDataSet.py：创建上面所述的样本集

classify.py：根据样本集和k值，对新数据预测类别

knn.py：主函数

代码分别如下：

createDataSet.py

import numpy as np

def createDataSet():
    group = np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['a','a','b','b']
    return group, labels

classify.py

import numpy as np
import operator

def classify(inX,dataSet,labels,k):

    #calculate euclidean distance between k and dataSet
    dataSetSize=dataSet.shape[0]
    diffMat=np.tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)
    distance=sqDistances**0.5

    #sort distance, min to max, return index list
    sortedDistIndicies=distance.argsort()

    # from 0 to k-1, count times of every class
    classCount={}
    for i in range(k):
        className=labels[sortedDistIndicies[i]]
        #print classCount.get(className,0)
        #here parameter 0 means:if className doesn't exist, return
        classCount[className]=classCount.get(className,0)+1

    #sort class count result, i don't understand this method now
    #parameter reverse=true:from big to small,reverse=flase:from small to big
    sortedClassCount=sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)

    #print sortedClassCount
    #print sortedClassCount[0][0]

    # return result
    return sortedClassCount[0][0]

knn.py

import createDataSet
import classify
import numpy as np

# get dataSet and labels by createDataSet
group,labels=createDataSet.createDataSet()

# classify
ans=classify.classify([1.1,1.2],group,labels,3)
print ans