k近邻算法（K-Nearest Neighbor）

k近邻是一种常用的分类与回归算法，其原理比较简单

基本思想

给定一个训练数据集，其中的实例的类别已定，对于新的实例，根据其K个距离最短的训练实例的类别出现的频率，对新的实例进行预测。

距离计算

欧式距离

曼哈顿距离

K的取值

K值的选择对k近邻法的结果产生重大影响

K值较小，近似误差会减小，估计误差会增大，意味着整体模型变得复杂，产生过拟合。

K值较大，近似误差会增大，估计误差会减少，模型简单，容易是预测发生错误。

实际应用中，K值一般取一个比较小的值，在采用交叉验证来逐步调整K值，最终选择适合该样本的最优的K值。

KNN算法实现
算法基本步骤：

1）计算待分类点与已知类别的点之间的距离

2）按照距离递增次序排序

3）选取与待分类点距离最小的k个点

4）确定前k个点所在类别的出现次数

5）返回前k个点出现次数最高的类别作为待分类点的预测分类

Code

#kNN.py

from numpy import  *
import operator

def createDataSet():

    group = array([[1.0, 1.1, 1.2], [1.2, 1.0, 1.1], [1.1, 1.2, 1.0], [0.1, 0.5, 0.7], [0.2, 0,1, 0.3], [2.1, 2.0, 2.1]])
    labels  = ["AAA", "AAA", "BBB", "BBB", "CCC"]

    return group,labels


def classfity(sampleX, dataSet, labels, k):

    dataSetSize = len(dataSet)

    diffMat = tile(sampleX, (dataSetSize, 1))  - dataSet

    sqDiffMat = diffMat ** 2

    sqDistances = sqDiffMat.sum(axis =1)

    distances = sqDistances ** 0.5

    sortedDistIndicies = distances.argsorts()

    classCount = {}

    for i in range(k):

        voteIlabel = labels[sortedDistIndicies[i]]

        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1

    sortedClassCount = sorted(classCount.items(), key = operator.itemgetter(1), reverse = True)

    return sortedClassCount[0][0]

参考：
《统计学习方法》 李航
http://blog.csdn.net/gamer_gyt/article/details/47418223