K-近邻算法（kNN）

一.工作原理

**前提：**存在一个样本数据集合，也称为训练样本集，并且每个样本集每个数据都贴有标签，即我们知道样本集中的每一个数据与其所属分类的对应关系。

**实现过程：**输入没有标签的新数据后，将新数据的每个特征与样本集数据中数据对应特征（这里的特征具体指什么？距离？）进行比较，然后算法提取样本集中特征最相似数据的分类标签。一般来说，我们会选择样本集数据其中前k个最相似的数据，通常k是不大于20的整数。

**输入输出：**输入没有贴标签的样本数据，通过与训练集数据进行比较，输出原先样本集数据的标签。

二.K-近邻算法的一般流程

1.收集数据：可以使用任何方法
2.准备数据：距离计算（这个距离计算就是为了寻找具有相似特征的数据）所需要的数值，最好是结构化的数据格式。
3.分析数据：可以使用任何方法。
4.训练算法：此步骤不适用k-近邻算法。
5.测试算法：计算错误率。
6.使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判断输入个数据分别属于哪个分类，最后应用对计算处的分类执行后续的处理。

1.准备数据（用Python创建数据）

from numpy import *   #导入科学计算包Numpy，*代表numpy的所有模块
import operator       #导入运算操作符

def createDataSet():       #定义createDataSet 函数
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])  #创建四个点
    labels = ['A','A','B','B']         #四个标签
    return group,labels

则以上的代码，将[1.0,1.1],[1.0,1.0]定义为类A, [0,0],[0,0.1]定义为类B

2.分析数据
伪代码如下：

1.计算已知类别数据集中的点与当前点之间的距离；
2.按照距离递增次序排序；
3.选取与当前点距离最小的k个点；
4.确定前k个点所在类别的出现频率；
5.返回k个点出现频率最高的类别作为当前点的预测分类。

计算俩点的距离，可以用范数即 ，具体就是欧式距离公式,则有

对于(1,0)和(2,1)，则欧式距离为：

如果数据集存在4个特征值，则点(1,0,0,1)与(7,6,9,4)之间的距离计算为：

计算完所有点的距离后，可以对数据按照从小到大的次序排序。然后确定前K个距离最小元素的分类，代码如下：

from numpy import  *  #导入科学计算器numpy
import operator   #导入运算模块
 
def createDataSet():  #创建数据集
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels
    
def kmeans(index,dataset,labels,k):
    datasetsize=dataset.shape[0]   #得到数组的行，即知道有几个训练数据
    diffMat = tile(index,(datasetsize,1))-dataset #将原来的数组扩充为4个一样的数组，diffMat得到了目标与训练数值之间的差值
    sqDiffMat=diffMat**2 #各个元素分别平方
    sqDistances=sqDiffMat.sum(axis=1) #对应列相乘，即得到了每一个距离的平方
    distance=sqDistances**0.5  #开方，得到距离
    sortedDistindicies=distance.argsort() #升序排列,从小到大,这里返回的是数组值从小到大的索引值，即[2,3,1,0]  
    classcount={}    #选择距离最小的k个点
    for i in range(k):
        votelabel=labels[sortedDistindicies[i]]  #获得在第k个值前面的labels，如 ‘A’，‘B’之类的标签
        classcount[votelabel]=classcount.get(votelabel,0)+1 #get(当找得到votelabel，返回原来的次数并加1，当没有找的的时候，返回0)
   #排序
   sortedclasscount=sorted(classcount.iteritems(),key=operator.itemgetter(1),reverse=True) #本身字典是没有顺序的，但是排序后就有了
    return sortedclasscount[0][0]

打开shell窗口,输入：

>>&g