机器学习实战-KNN 算法

最近开始看李航的《统计学习方法》，一段时间下来，虽然各种公式推导看起来吊的一 B，但始终没有在头脑中形成一个画面。觉得还是边看边着手实现更好。选择了《机器学习实战》这本书配合来实现。这本书使用 Python 实现，很适合我。真本书实现的第一个算法就是大名鼎鼎的 K-近邻算法。

KNN 算法的基本原理就是在一堆样本中找出与测试样本距离（欧氏距离/非欧距离）最近的几个样本，这些个样本属于哪个类，则测试样本就属于此类，解释起来非常简单，接下来就是实现了。

书中使用了两个例子来实现算法，约会数据和手写数字识别。

def createDataSet():
    group = np.array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]]) #生成一组样本
    labels = ['A', 'A', 'B', 'B'] #样本类型
    return group, labels

这段代码简单地实现了创建一组样本和类型并返回。

def classify0(inX, dataSet, labels, k):
    # inX 测试点, dataSet: 训练样本集, labels 标签, k: 选取最近的 k 个样本 
    dataSetSize = dataSet.shape[0] #得到样本集个数
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet 
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis = 1)
    distances = sqDistances ** 0.5 #计算距离