K近邻算法

一、什么是K近邻算法

k近邻算法又称knn算法、最近邻算法，是一种用于分类和回归的非参数统计方法。在这两种情况下，输入包含特征空间中的k个最接近的训练样本，这个k可以由你自己进行设置。在knn分类中，输出是一个分类族群。一个对象的分类是由其邻居的“多数表决”确定的，k个最近邻居（k为正整数，通常较小），所谓的多数表决指的是，在k个最近邻中，取与输入的类别相同最多的类别，作为输入的输出类别。简而言之，k近邻算法采用测量不同特征值之间的距离方法进行分类。knn算法还可以运用在回归预测中，这里的运用主要是指分类。

二、k近邻算法的优缺点和运用范围

优点：精度高、对异常值不敏感、无数据输入假定。

缺点：计算复杂度高、空间复杂度高。

适用范围：数值型和标称型、如手写数字的分类等。

三、k近邻算法的工作原理

假定存在一个样本数据集合，并且样本集中的数据每个都存在标签，也就是说，我们知道每一个样本数据和标签的对应关系。输入一个需要分类的标签，判断输入的数据属于那个标签，我们提取出输入数据的特征与样本集的特征进行比较，然后通过算法计算出与输入数据最相似的k个样本，取k个样本中，出现次数最多的标签，作为输入数据的标签。

四、k近邻算法的一般流程

（1）收集数据：可以使用任何方法，可以去一些数据集的网站进行下载数据。机器学习实战的数据集网站：http://archive.ics.uci.edu/ml/machine-learning-databases/，还有许多其他的数据网站，大家可以去搜索，我就不一一列举了。

（2）准备数据：距离计算所需要的数值，最好是结构化的数据格式

（3）分析数据：可以使用任何方法

（4）训练算法：此步骤不适用于k近邻算法

（5）测试算法：计算错误率

（6）使用算法：首先需要输入样本数据和结构化的输出结构（统一数据格式），然后运行k近邻算法判定输入数据属于哪一种类别。

五、k近邻算法的实现

前言：在使用python实现k近邻算法的时候，需要使用到Numpy科学计算包。如果想要在python中使用它，可以按照anaconda，这里包含了需要python需要经常使用到的科学计算库，如何安装，请看http://blog.csdn.net/sinat_29957455/article/details/75268702

这里只给出算法的主要实现，实现的工程可以去我的资源页进行下载http://download.csdn.net/detail/sinat_29957455/9915674，python3我已测试没有问题，python2可能会存在一些问题，在使用k近邻算法最好，先将样本数据集进行归一化处理，避免属性值中的数据差值大的对数据差值小的属性产生影响，因为我们使用的是距离进行判断的，要保证每一个特征的权重相等。比如，样本数据为(x1,x2,x3,x4),输入的数据为(a1,a2,a3,a4)，它们之间的距离为

如果，第二个属性值中的数值差相差比较大，会影响到其他属性所占到的权重。

数据归一化

'''
数据归一化
'''
def autoNorm(dataSet):
    #找出数据集中的最小值
    minVals = dataSet.min(0)
    #找出数据集中的最大值
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals;
    #初始化一个与数据集一样大小的mat
    normDataSet = zeros(shape(dataSet))
    #获取数据集的大小
    m = dataSet.shape[0]
    normDataSet = dataSet - tile(minVals,(m,1))
    normDataSet = normDataSet/tile(ranges,(m,1))
    return normDataSet,ranges,minVals

k近邻算法实现代码

'''
k近邻算法，定义一个算法的分类器
分类器的输入为，inX输入向量，dataSet为输入的训练样本,labels为输入样本所对应的标签
k为设置几个最近邻
'''
def classify0(inX,dataSet,labels,k):
    #获取dataSet有多少个数据
    dataSetSize = dataSet.shape[0]
    #求输入向量与数据集之间的差,tile是把inX输入向量扩展成与dataSet的行数相同
    diffMat = tile(inX,(dataSetSize,1)) - dataSet
    #求输入向量与数据集之间的欧氏距离
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances ** 0.5
    #排序，由小到大进行排序,排序所记录的是dataSet的下标
    sortedDistIndicies = distances.argsort()
    #新建一个空的字典对象，用来存放分类的结果
    classCount = {}
    for i in range(k):
        #根据dataSet的下标来获取，数据所对应的标签
        voteIlabel = labels[sortedDistIndicies[i]]
        #字典存放的是，以标签为键，标签在k近邻中出现的次数为值
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    #classCount.items()以遍历的形式获取函数所有的键
    #operator.itemgetter(1)按照键出现的次数，以降序的形式进行排序
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),
                              reverse=True)
    return  sortedClassCount[0][0]

六、部分代码详解

Numpy中的tile函数，当tile(a,2)中只有两个参数时，表示在列的方向上重复a两次,当tile(a,(2,1))时其中的2表示的是行方向上，1表示的是列方向上，title(3,1,2)中的1表示行的重复次数，2表示列的重复次数，3表示将整个a扩展之后的重复次数

a = [1,2]
tile(a,(2))
[1 2 1 2]
tile(a,(2,1))
[[1 2]
 [1 2]]
 tile(a,(3,1,2))
 [[[1 2 1 2]]

 [[1 2 1 2]]

 [[1 2 1 2]]]