KNN算法思想与应用例子

    这篇文章是在学习KNN时写的笔记，所参考的书为《机器学习实战》，希望深入浅出地解释K近邻算法的思想，最后放一个用k近邻算法识别图像数字的例子。    

    KNN算法也称K近邻，是一种监督学习算法，即它需要训练集参与模型的构建。它适用于带标签集的行列式（可理解为二维数组）的数据集。

    需要准备的数据有：训练数据集，训练标签集（每个数据与每个标签都一一对应）用于参与模型构建；
    需要测试的数据集——通过这个模型得出——标签集（每个数据对应的标签）

举个例子：我们把人体的指标量化，比如体重多少，三围多少，脂肪比例多少，然后这个标签就是性别（男或女）。我们的训练数据集就是500个男性和500个女性的身体指标，每个数据对应性别标签（男或女），这个就是训练标签集。然后我们输入一个人的指标，模型给出一个性别的判断，这个就是输出的标签集，也就是最后的预测结果。

算法的流程为：

      1、计算输入测试数据与训练数据集的距离，这里用欧式距离来计算。

      2、根据得到的距离大小，按升序排序

      3、取前K个距离最小的数据集对应的标签

      4、计算这些标签的出现频率

      5、取出现频率最高的标签作为输入的测试数据的最后的标签，即预测结果

其中，欧式距离的计算公式如下：<