机器学习(一)---KNN算法总结(手写体识别)

1、算法综述

       Cover和Hart在1968年提出了最初的邻近算法，K-近邻算法（k-Nearest Neighbors）的本质计算未知数据集（测试样本）与训练集的各样本的距离，按从小到大取前k个距离排序，然后选择k个最相似数据中出现次数最多的分类作为新数据的分类。

      (1)根据《机器学习》第10.1节，最近邻分类器虽然简单，但它的泛化错误率不超过贝叶斯最优分类器的错误率的两倍；

      (2)对于二分类问题k值一般取奇数，便于分类；

    （3)特征（属性）可以为多个，分类也可以是多个（比如考察约会对象的喜欢与否，特征为：玩游戏百分比、飞行里程、冰淇淋消耗；样本分为三类：1-特别喜欢，2-一般，3-不喜欢）；

      (4)距离一般选用欧氏距离或者曼哈顿距离；  

                               

 

      (5)算法结果在很大程度上取决于k的取值以及距离公式选择。

                                                   

2、评价

 

      优点：精度高、对异常值不敏感、无数据输入假定(仅仅是把样本存起来，训练时间为0)。

      缺点：计算复杂度高、空间复杂度高（关键是分类图片时，背景影响很大，这一点下面后说）。

      适用数据范围：数值型和标称性。

3、工作原理

 

      存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据及中前ｋ个最相似的数据，这就是k-近邻算法中k的出处，通常k选择不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

4、K-近邻算法的一般流程

     （1）收集数据：可以使用任何方法

     （2）准备数据：距离计算所需要的数值，最好是结构化的数据格式

     （3）分析数据：可以使用任何方法

     （4）训练算法：此步骤不适用k-邻近算法

     （5）测试算法：计算错误率

     （6）使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

5、算法应用举例（Python和C++）

     1、使用K-近邻算法分类爱情片和动作片

                                      

可以以打斗次数和接吻次数来作为二维图的x轴和y轴坐标：

                                             

首先计算出未知电影与样本集中其他电影的距离（距离的具体计算先不叙述）

                                           

 

      按照距离递增排序，可以找到k个距离最近的电影，若k=3,则三个最靠近的电影依次是He’s Not Really into Dude