K-近邻算法（kNN）

什么是k近邻算法？

        工作原理：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

        事例：
        比如电影可以按照题材进行分类分为动作片和爱情片，但是如何正确又有什么明显的区别呢，动作片中会出现接吻的镜头，而爱情片中也会有打斗的场景，我们不能单纯依靠是否有某一镜头而确定电影的类别，但是动作片中的打斗镜头肯定比爱情片多，而爱情片中的亲吻镜头肯定也比动作片多，所以我们就可以依靠这个镜头数量的多少来进行电影题材的确定。
        

        如何确定上图中问号处电影的类型呢?
        首先我们需要先确定电影中存在的打斗镜头和接吻镜头的个数。

上面则是各个电影的打斗和接吻镜头的个数以及其电影类型，可以以其镜头个数进行坐标的定位，即问号出的坐标为（18，90）
因此可以将问号处与各个电影之间的距离计算出来，如下图

现在我们知道了样本集中所有电影与未知电影的距离，并且从小到大排序，因此我们可以找到k个距离最近的电影，来判断其类型，
比如我们假定k=3，那么最靠近的三个电影都为爱情片，因此我们判断未知电影是爱情片，那如果与未知电影相距的最近三个电影中分别为爱情片，动作片，动作片，那么我们则判断未知电影为动作片，当然我们还可以选择不同的k值来进行判断。

                                                                                        k-近邻算法的一般流程 

(1)收集数据：可以使用任何方法
(2)准备数据：距离计算所需要的数值，最好是结构化的数据格式
(3)分析数据：可以使用任何方法
(4)训练算法：此步骤不适用于k——近邻算法
(5)测试算法：计算错误率
(6)使用算法：首先输入样本数据和结构化的输出结果，然后运行k近邻算法判定输入样本属于哪个分类，然后对计算处的分类执行后续处理

关于k-近邻算法的基本问题 

 1.如何确定k的值

        通过上述的事例我们知道k的取值不同会影响结果的判断，那么我们应该如何确定一个k的取值呢？