kNN —— 一个最简单的kNN示例

k-NN，即K-近邻算法，用于将每组数据分到某个类中，其伪代码如下：

1. 计算已知类别数据集中的点与当前点之间的距离；
2. 按照距离递增次序排序；
3. 选取与当前距离最小的k个点；
4. 确定前k个点所在类别的出现频率；
5. 确定前k个点出现频率最高的类别作为当前点的预测分类。

程序如下：

import numpy
import operator


def createDataSet():
    group = numpy.array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels


def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = numpy.tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances ** 0.5
    sortedDistIndicies = distances.argsort()
    classCount={}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]


data_set, labels = createDataSet()
result = classify0([0, 0], data_set, labels, 3)
print(result)

其中createDataSet()用于生成简单的含标签的数据集

classify0()使用欧式距离公式计算新的数据与数据集中的数据的距离：

结果为：

B