机器学习实战（二）——k-近邻算法（KNN）

2.1 k-近邻算法概述

简单的说，k-近邻算法采用测量不同特征值之间的距离方法进行分类

• 优点：精度高、对异常值不敏感、无数据输入假定
• 缺点：计算复杂度高、空间复杂度高
• 适用数据范围：数值型和标称型
• 数值型：数值型目标变量则可以从无限的数值集合中取值，如0.100，42.001等 (数值型目标变量主要用于回归分析)
• 标称型： 标称型目标变量的结果只在有限目标集中取值，如真与假(标称型目标变量主要用于分类)

k近邻法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

举例：利用k-近邻算法分类爱情片和动作片
图2-1显示了5部动作电影的打斗和接吻镜头个数，假如有一部未看过的电影，可以使用KNN来确定其为爱情片还是动作片。

图中的？是该未知电影出现的镜头数图形化展示，具体数字见表2-1

通过计算未知电影与样本集中其他电影的距离，可以判断其类型。

按照距离递增排序，可以找到k个距离最近的电影，假设k=3，则距离最近的全是爱情片，可以判断其为爱情片。

k-近邻算法的一般流程：

• 1.计算已知类别数据集中的点与当前点之间的距离；
• 2.按照距离递增次序排序；
• 3.选取与当前点距离最小的k个点；
• 4.确定前k个点所在类别的出现频率；
• 5.返回前k个点所出现频率最高的类别作为当前点的预测分类
  

距离度量：

2.1.1 准备：使用python导入数据

from numpy import *
import operator  # 导入运算符模块

# 创建数据集和标签的函数
def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels


if __name__ == '__main__':
    group, labels = createDataSet()

    print(group)
    print(labels)

结果：

[[ 1.   1.1]
 [ 1.   1. ]
 [ 0.   0. ]
 [ 0.   0.1]] 
 ['A', 'A', 'B', 'B']

2.1.2 从文本文件中解析数据
利用k-近邻算法将每组数据划分到某个类中，其伪代码如下：

对未知类别属性的数据集中的每个点依次执行以下操作：

计算已知类别数据集中的点与当前点之间的距离
按照距离递增次序排序
选取与当前点距离最小的k个点
确定前k个点所在类别的出现频率
返回前k个点出现频率最高类别作为当前点的预测分类

import numpy as np
import operator

"""
函数说明：KNN算法，文本分类

Parameters：
    inX：用于分类的数据（测试集）
    dataSet：用于训练的数据（训练集）
    labels：分类标签
    k：kNN算法参数，选择距离最小的k个点
    
returns：
    分类结果

modify:
    2018-03-08
    
"""

def classify0(inX,dataSet,labels,k):
    #numpy函数shape[0]返回dataSet行数
    dataSetSize=dataSet.shape[0]
    #在列向量方向上重复inX一次（横向），在行向量方向上重复inX共dataSetSize次（纵向）
    #numpy.tile([0,0],(1,1))#在列方向上重复[0,0]1次，行1次  >>>array([[0, 0]])
    diffMat=np.tile(inX,(dataSetSize,1))-dataSet
    #二维特征相减后平方
    sqDiffMat=diffMat**2
    #sum()所有元素相加，sum(0)列相加，sum(1)行相加
    sqDistances=sqDiffMat.sum(axis=1)
    #开方，计算出距离
    distances=sqDistances**0.5
    
    #返回distances中元素从小到大排序后的索引值
    sortedDistIndices=distances.argsort()
    #定一个记录类别次数的字典
    classCount={}

    for i in range(k):
        #取出前k个元素的类别
        voteIlabel=labels[sortedDistIndices[i]]
        #计算类别次数
        # dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1

    #key=operator.items(1)根据字典的值进行排序
    #key=operator.items(0)根据字典的键值进行排序
    #reverse降序排序字典
    sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    #返回次数最多的类别，即所要分类的类别
    return sortedClassCount[0][0]

其中，标签向量的元素数目和矩阵dataSet行数相同，上述程序中使用欧氏距离公式，计算两个向量点之间的距离。

整体程序示例：

结果：
```python
import numpy as np
import operator

"""
函数说明：KNN算法，文本分类

Parameters：
    inX：用于分类的数据（测试集）
    dataSet：用于训练的数据（训练集）
    labels：分类标签
    k：kNN算法参数，选择距离最小的k个点
    
returns：
    分类结果

modify:
    2018-03-08
    
"""
def createDataSet():
    group = np.array([[1, 101], [5, 89], [108, 0], [108, 5]])
    labels = ['爱情片','爱情片', '动作片', '动作片']
    return group, labels

def classify0(inX,dataSet,labels,k):
    #numpy函数shape[0]返回dataSet行数
    dataSetSize=dataSet.shape[0]
    #在列向量方向上重复inX一次（横向），在行向量方向上重复inX共dataSetSize次（纵向）
    #numpy.tile([0,0],(1,1))#在列方向上重复[0,0]1次，行1次  >>>array([[0, 0]])
    diffMat=np.tile(inX,(dataSetSize,1))-dataSet
    #二维特征相减后平方
    sqDiffMat=diffMat**2
    #sum()所有元素相加，sum(0)列相加，sum(1)行相加
    sqDistances=sqDiffMat.sum(axis=1)
    #开方，计算出距离
    distances=sqDistances**0.5
    #返回distances中元素从小到大排序后的索引值

    sortedDistIndices=distances.argsort()
    #定一个记录类别次数的字典
    classCount={}
    for i in range(k):
        #取出前k个元素的类别
        voteIlabel=labels[sortedDistIndices[i]]
        #计算类别次数
        # dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1

    #key=operator.items(1)根据字典的值进行排序
    #key=operator.items(0)根据字典的键值进行排序
    #reverse降序排序字典
    sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    #返回次数最多的类别，即所要分类的类别
    return sortedClassCount[0][0]

if __name__ == '__main__':
    #创建数据集
    group, labels = createDataSet()
    #测试集
    test = [101,20]
    #kNN分类
    test_class = classify0(test, group, labels, 3)
    #打印分类结果
    print(test_class)

输出：

动作片

看到这里，有人可能会问：“分类器何种情况下会出错？”或者“答案是否总是正确的？”答案是否定的.

分类器并不会得到百分百正确的结果，我们可以使用多种方法检测分类器的正确率。此外分类器的性能也会受到多种因素的影响，如分类器设置和数据集等。不同的算法在不同数据集上的表现可能完全不同。

为了测试分类器的效果，我们可以使用已知答案的数据，当然答案不能告诉分类器，检验分类器给出的结果是否符合预期结果。通过大量的测试数据，我们可以得到分类器的错误率-分类器给出错误结果的次数除以测试执行的总数。

错误率是常用的评估方法，主要用于评估分类器在某个数据集上的执行效果。完美分类器的错误率为0，最差分类器的错误率是1.0。同时，我们也不难发现，k-近邻算法没有进行数据的训练，直接使用未知的数据与已知的数据进行比较，得到结果。因此，可以说k-邻近算法不具有显式的学习过程。