机器学习算法---kNN算法

一、KNN算法简介 （参考周志华的西瓜书）
  KNN算法又称k近邻分类(k-nearest neighbor classification)算法。它是根据不同特征值之间的距离来进行分类的一种简单的机器学习方法，它是一种简单但是懒惰的算法。他的训练数据都是有标签的数据，即训练的数据都有自己的类别。KNN算法主要应用领域是对未知事物进行分类，即判断未知事物属于哪一类，判断思想是，基于欧几里得定理，判断未知事物的特征和哪一类已知事物的的特征最接近。它也可以用于回归，通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。 
  以下面一个KNN算法的例子来说明KNN算法的特点。 

  上图中，要判断绿色的圆属于哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。 
   在利用KNN算法判断类别时K的取值很重要。KNN算法主要依据邻近的k个样本来进行类别的判断。然后依据k个样本中出现次数最多的类别作为未知样本的类别。这也就是我们常常说到的“物以类聚，人以群分”、“近朱者赤，近墨者黑”。

二、KNN算法原理和步骤 

2.1、KNN算法的思想 

  KNN算法用于分类的核心思想是：存在一个样本数据集合，也称训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每个数据与其所属分类的关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k近邻算法中k的出处(通常k<20)。最后，我们选择k个最相似数据中出现次数最多的分类，作为新数据的分类。 可概括为下面3点：

1. 假设有一个带有标签的样本数据集（训练样本集），其中包含每条数据与所属分类的对应关系。
2. 输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较。
   1. 计算新数据与样本数据集中每条数据的距离。
   2. 对求得的所有距离进行排序（从小到大，越小表示越相似）。
   3. 取前 k （k 一般小于等于 20 ）个样本数据对应的分类标签。
3. 求 k 个数据中出现次数最多的分类标签作为新数据的分类。

  KNN算法用于回归的核心思想是：找到近邻的k个样本，然后取平均值作为未知样本的值，对其进行预测。

2.2、KNN算法的步骤 
  1）算距离：给定未知对象，计算它与训练集中的每个对象的距离； 
   2）找近邻：圈定距离最近的k个训练对象，作为未知对象的近邻； 

  3）做分类：在这k个近邻中出线次数最多的类别就是测试对象的预测类别。

2.3、k值的选取 

  在KNN算法中k的选取非常重要，KNN分类的准备率对K值很敏感。不同的值有可能带来不同的结果。如果K选大了的话，可能求出来的k最近邻集合可能包含了太多隶属于其它类别的样本点，不具有代表性，可能造成噪声增加而效果降低。如果K选小了的话，结果对噪音样本点很敏感，降低分类精度。在实际中，一般采用交叉验证（一部分样本做训练集，一部分做测试集）或者依靠经验的方法来选取k值。k值初始时取一个比较小的数值，之后不断来调整K值的大小来使得样本分类最优，最优时的K值即为所选值。k值一般为奇数。

       有一个经验规则：k一般低于训练样本数的平方根。

       K值的减小意味着整体模型变得复杂，容易发生过拟合；K值的增大意味着整体模型变得更简单。

三、KNN算法的优缺点 
3.1、优点 
  （1） 精度高，对异常值不敏感，易于实现，无需估计参数，无需训练； 
  （2） 适合对稀有事件进行分类（例如当流失率很低时，比如低于0.5%，构造流失预测模型）； 
  （3） 特别适合于多分类问题(multi-modal,对象具有多个类别标签)，例如根据基因特征来判断其功能分类，kNN比SVM的表现要好。 
3.2、缺点 
  （1）计算复杂度高，空间复杂度高，内存开销大，kNN不适用于高维数据； 
  （2） 可解释性较差，无法给出决策树那样的规则。 

  （3） 该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。 该算法只计算“最近的”邻居样本，某一类的样本数量很大，那么或者这类样本并不接近目标样本，或者这类样本很靠近目标样本。无论怎样，数量并不能影响运行结果。

四、KNN算法数学表达式（参考李航的统计学原理P39）

       用空间内两个点的距离来度量。距离越大，表示两个点越不相似。距离的选择有很多，通常用比较简单的欧式距离，表达式为：

1、欧式距离（p=2）：

 

2、曼哈顿距离（p=1）：

 

3、切比雪夫距离(p为无穷大)：

五、实验代码

参考《机器学习及实践-通往Kaggle竞赛之路》和《机器学习实战》

参考博客：点击打开链接，点击打开链接