K-近邻算法

K-近邻算法：

有点：精度高， 对异常值不敏感，无数据输入假定。

缺点：计算复杂度高，空间复杂度高。

使用范围：数值型和标称型。

python代码：

from numpy import *

def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0.0, 0.0], [0.0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

def classify0(inX, dataSet, labels, k):
    dataSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistance = sqDiffMat.sum(axis=1)
    distance = sqDistance ** 0.5
    sortedDistIndicies = distance.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassSort = sorted(classCount.iteritems(), key=lambda x:x[1], reverse=True)
    return sortedClassSort[0][0]