k-近邻算法(k-Nearest Neighbor, kNN)

找出测试用例与训练样本之间特征空间距离最近的k个点。根据这k个点的分类，对测试用例进行分类。

#代码摘自 Machine Learning in Action
def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize, 1))-dataSet #tile重复向量来构造矩阵
    sqDiffMat = diffMat ** 2 #差值平方
    sqDistances = sqDiffMat.sum(axis=1) #距离平方和
    distances = sqDistances ** 0.5 #距离
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
        sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

kNN算法，很暴力，直接进行计算，不需要对特征进行理解。