k近邻（k-NN）算法

k近邻算法的基本概念，原理

• K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。
• K近邻算法原理即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。

k近邻算法中距离的度量

k近邻模型的特征空间一般是n维实数向量空间Rⁿ,使用的距离是欧式距离,但也可以是其他距离,如更一般的L_p距离(L_pdistance)或Minkowski距离(Minkowski distance).

其中当p=2的时候，就是我们最常见的欧式距离，我们也一般都用欧式距离来衡量我们高维空间中俩点的距离。

k近邻算法中k的选取

当 k=1 时的k近邻算法称为最近邻算法，此时将训练集中与xx最近的点的类别作为xx的分类。

k值的选择会对k近邻法的结果产生重大影响.

1. 如果选择较小的k值，就相当于用较小的邻域中的训练实例进行预测，“学习”的近似误差会减小，只有与输入实例较近的(相似的)训练实例才会对预测结果起作用.但缺点是“学习”的估计误差会增大，预测结果会对近邻的实例点非常敏感 如果邻近的实例点恰巧是噪声，预测就会出错．

2. 换句话说，k值的减小就意味着整体模型变得复杂，容易发生过拟合.

3. 如果选择较大的k值，就相当于用较大邻域中的训练实例进行预测．
   其优点是可以减少学习的估计误差．但缺点是学习的近似误差会增大．这时与输入实例较远的（不相似的）训练实例也会对预测起作用，使预测发生错误．k值的增大就意味着整体的模型变得简单.
   如果k=N，那么无论输入实例是什么，都将简单地预测它属于在训练实例中最多的类．这时，模型过于简单，完全忽略训练实例中的大量有用信息，是不可取的.
   在应用中，k值一般取一个比较小的数值．通常采用交叉验证法来选取最优的k值.

   本文使用k=3来演示核心算法

k近邻算法核心程序

Python实现

import operator

import numpy as np


def calculateDistances(test_in, train_data