机器学习实战第二章k-近邻算法01

最新推荐文章于 2023-01-16 13:15:55 发布

poppy_MCT

最新推荐文章于 2023-01-16 13:15:55 发布

阅读量497

点赞数

分类专栏：机器学习实战

本文链接：https://blog.csdn.net/weixin_42702666/article/details/84557422

版权

机器学习实战专栏收录该内容

8 篇文章 0 订阅

订阅专栏

本章内容

k-近邻分类算法
从文本文件中解析和导入数据
使用Matplotlib创建扩散图
归一化数值

众所周知，电影可以按照题材分类，然而题材本身是如何定义的？有谁来判定某部电影属于哪个题材？也就是说同一题材的电影具有哪些公共特征？这些都是在进行电影分类时必须要考虑的问题。没有哪个电人会说自己制作的电影和以前的某部电影类似，但我们确实知道每部电影在风格上的确有可能会和同题材的电影相近。那么动作片具有哪些共有特征，使得动作片之间非常类似，而与爱情片存在着明显的差别呢？动作片也会存在接吻镜头，爱情片也会存在打斗场景，我们不能单纯依靠是否存在打斗或者亲吻来判别影片的类型。但是爱情片中的亲吻镜头更多，动作片的打斗场景也更频繁，基于此类场景在某部电影中出现的次数可以用来进行电影分类。本章第一节基于电影中出现的亲吻、打斗出现的次数，使用k-近邻算法构造程序，自动划分电影的题材类型。我们首先使用电影分类讲解k-近邻算法的基本概念，然后学习如何在其他系统上使用k-近邻算法。

本章介绍第一个机器学习算法：k-近邻算法，它非常有效而且易于掌握。首先，我们将探讨k-近邻算法的基本理论，以及如何使用距离测量的方法分类物品；其次我们将使用Python从文本文件中导入并解析数据；再次，本书讨论了当存在许多数据来源时，如何避免计算距离时可能碰到的一些常见错误；最后，利用实际的例子讲解如何使用k-近邻算法改进约会网站和手写数字识别系统。

2.1 k-近邻算法概述

简单地说，k-近邻算法采用测量不同的特征值之间的距离方法进行分类。

优点：精度高、对异常值不敏感、无数据输入假定。

缺点：计算复杂度高、空间复杂度高。

使用数据范围：数值型和标称型。

本书讲解的第一个机器学习算法是k-近邻算法（KNN），它的工作原理是：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后速发提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

现在我们回到前面电影分类的例子，使用k-近邻算法分类爱情片和动作片。有人曾经统计过很多电影的打斗经镜头和接吻镜头，如图2-1显示了6部电影的打斗和接吻镜头次数。假如有一部未看过的电影，如何确定它是爱情片还是动作片呢？我们可以使用kNN来解决这个问题。

首先我们需要知道这个未知电影存在多少个打斗镜头和接吻镜头，图2-1问号的位置是该未知电影出现的镜头数图形化展示，具体数字参见表2-1。

即使不知道未知电影属于哪种类型，我们也可以通过某种方法计算出来。首先计算未知电影与样本集中其他电影的距离，如表2-2所示。此处暂时不要关心如何计算得到这些距离值，使用Python实现电影分类应用时，会提供具体的计算方法。

现在我们得到了样本集中所有电影与未知电影的距离，按照距离递增排序，可以找到k个距离最近的电影。假定k=3,则三个最靠近的电影依次是He's Not Really into Dudes、Beautiful Woman 和California Man。k-近邻算法按照距离最近的三部电影的类型，决定未知电影的类型，而这三部电影全是爱情片，因此我们判定未知电影是爱情片。

本章主要讲解如何在实际环境中应用k-近邻算法，同时涉及如何使用Python工具和相关的机器学习术语。按照1.5借开发机器学习应用的通用步骤，我们使用Python语言开发k-近邻算法的简单应用，已检验算法使用的正确性。

k-近邻算法的一般流程

（1）收集数据：可以使用任何方法。

（2）准备数据：距离计算所需要的数值，最好是结构化的数据格式。

（3）分析数据：可以使用任何方法。

（4）训练算法：此步骤不适用于k-近邻算法

（5）测试算法：计算错误率。

（6）使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

2.1.1 准备：使用Python导入数据

首先，创建名为kNN.py的Python模块，本章使用的所有代码都在这个文件中。读者可以按照自己的习惯学习代码，即可以按照本书学习的进度，在自己创建的Python文件中编写代码，也可以直接从本书的源代码中复制kNN.py文件。我推荐从头开始创建模块，按照学习的进度编写代码。

无论采用何种方法，我们仙子已经有了kNN.py文件。在构造完整的k-近邻算法之前，我们还需要编写一些基本的通用函数，在kNN.py文件中增加下面的代码：

from numpy import *
import operator

def createDataSet():
    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels=['A','A','B','B']
    return group,labels

在上面的代码中，我们导入了两个模块：第一个是科学计算包NumPy；第二个是运算符模块，k-近邻算法执行排序操作时将使用这个模块提供的函数，后面将进一步介绍。

为了方便使用createDataSet（）函数，它创建数据集和标签，如图2-1所示。然后依次执行以下步骤：保存kNN.py文件，改变当前路径到存储kNN.py文件的位置，打开Python开发环境。无论Linux、Mac OS还是Windows都需要在终端打开，在命令提示符下完成上述操作。只要我们按照默认配置安装Python，在Linux/Mac OS终端都可以直接输入python，而在Windows命令提示符下需输入C:\Users\Administrator\.spyder-py3>python，进入Python交互式开发环境。

进入Python开发环境后，输入下列命令导入上面编辑的程序模块：

 import kNN

上述命令导入kNN模块。为了确保输入相同的数据集，kNN模块中定义了函数createDataSet，在Python命令提示符下输入下述命令：

group,labels=kNN.createDataSet()

上述命令创建了变量group和labels，在Python命令提示符下，输入变量的名字以检验是否正确的定义变量：

>>> group
array([[1. , 1.1],
       [1. , 1. ],
       [0. , 0. ],
       [0. , 0.1]])
>>> labels
['A', 'A', 'B', 'B']

这里有四组数据，每组数据有两个已知属性或者特征值。上面的group矩阵每行包含一个不同的数据，我们可以把它想象为某个日志文件中不同的测量点或者入口。由于人类大脑的限制，我们通常只能可视化处理三维以下的事物。因此未来简单的实现数据可视化，对于每个数据点我们通常只使用两个特征。

向量label包含了诶个数据点的标签信息，label包含的额数据元素个数等于group矩阵的行数。这里我们将数据点（1,1.1）定义为类A，数据点（0,0.1）定义为类B。为了说明方便，例子中的数值是任意选择的，并没有给出轴标签，图2-2是带有类标签信息的四个数据点。

我们已经知道Python如何解析数据，如何加载数据，以及kNN算法的工作原理，接下来我们将使用这些方法完成分类任务。

2.1.2 从文本文件中解析数据

本节使用程序清单2-1的函数运行kNN算法，为每组数据分类。这里首先给出k-近邻算法的伪代码和实际的Python代码，然后详细地解释每行代码的含义。该函数的功能是使用k-近邻算法将每组数据划分到某个类中，其伪代码如下：

对未知类别属性的数据集中的每个点一次执行以下操作：

（1）计算已知类别数据集中的点与当前点之间的距离；

（2）按照距离递增次序排序；

（3）选取与当前点距离最小的k个点；

（4）确定前k个点所在类别的出现频率；

（5）返回前k个点出现频率最高的类别作为当前点的预测分类。

Python函数classify0（）如程序清单2-1所示。

程序清单2-1 k-近邻算法

from numpy import * #科学计算包
import operator #运算符模块

def createDataSet():
    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels=['A','A','B','B']
    return group,labels


def classify0(inX,dataSet,labels,k):
    dataSetSize=dataSet.shape[0] #返回dataSet这个array的行数
    #距离计算
    diffMat=tile(inX,(dataSetSize,1))-dataSet #tile函数作用是将inX向量补成大小为(dataSetSize,1)的矩阵，方便和dataSet做减法
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)#参数axis影响对矩阵求和时的顺序，axis=1按照矩阵的行求和，axis=0按照矩阵的列求和
    distances=sqDistances**0.5
    sortedDistIndicies=distances.argsort()#argsort（）函数对向量的中的每个元素排序，结果是元素的索引形成的向量
    classCount={}
    #选择距离最小的k个点
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]]
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1#返回字典classCount中votellabel元素对应的值，
        #若无，则字典classCount中生成votellabel元素，并使其对应的数字为0，即classCount={votellbel：0}
        #此时classCount.get(votellabel,0)作用是检测并生成新元素，括号中的0只用作初始化
        #当字典中有votellabel元素时，classCount.get(votellabel,0)作用是返回该元素对应的值
    #排序
    sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    #classCount.iteritems()作用是将字典classCount分解为元祖列表，若classCount={'A':1,'B':2}则分解为['A','B']与[1,2]两组
    #key=operator.itemgetter(1)以元祖的第二列排序
    return sortedClassCount[0][0]

classify0（）函数有4个输入参数：用于分类的输入向量inX，输入的训练样本集为dataSet，标签向量为labels，最后的参数k表示用于选择最近邻的数目，其中标签向量的元素数目和矩阵dataSet的行数相同。程序清单2-1使用欧式距离公式，计算两个向量点xA和xB之间的距离：

$d=\sqrt{(xA_{0}-xB_{0})^{2}+(xA_{1}-xB_{1})^{2}}$

如果数据集存在4个特征值，则点（1,0,0,1）与（7,6,9,4）之间的距离为：

$\sqrt{(7-1)^{2}+(6-1)^{2}+(9-0)^{2}+(4-1)^{2}}$

计算完所有点之间的距离后，可以对数据按照从小到大的次序排序，然后，确定前k个距离最小的元素所在的分类，输入k总是正整数；最后，将classCount字典分解为元祖列表，然后使用程序第二行导入运算符模块的itemgetter方法，按照第二个元素的次序队员组进行排序，此处的排序为逆序，即按照从大到小次序排序，最后返回发生频率最高的元素标签。

为了预测数据所在分类，在Python提示符中输入下列命令：

group,labels=createDataSet()
print(classify0([0,0],group,labels,3))
输出
B

输出结果是B，也可以改变输出[0,0]为其他值，测试程序的运行结果。

到现在为止，我们已经构造了第一个分类器，使用这个分类器可以完成很多分类任务。从这个实例出发，构造使用分算法将会更加容易。

2.1.3 如何测试分类器

上文使用k-近邻算法构造了第一个分类器，也可以检验分类器给出的答案是否符合我们的预期。可能有疑惑“分类器何种情况会出错”或者‘答案是否总是正确的？’答案是否定的，分类器并不会得到百分之百正确的结果，我们可以使用多种方法检测分类器的正确率。此外分类器的性能也会受到多种因素的影响，如分类器设置和数据集等。不同算法在不同数据集上表现可能完全不同。

为了测试分类器的效果，我们可以使用已知答案的数据，当然答案不能告诉分类器，检验分类器给出的结果是否符合预期结果。通过大量的测试数据，我们可以得到分类器的错误率——分类器给出错误结果的次数初一测试执行的总次数。错误率是常用的评估方法，主要用于评估分类器在某个数据集上的执行效果。完美分类器的错误率是0，最差分类器的错误率是1.0，在这种情况下，分类器根本就无法找到一个正确的答案。

上一节介绍的例子已经可以正常运转了，但是并没有太大的实际用处，本章的后两节将实现在现实世界中使用k-近邻算法。首先，我们将使用k-近邻算法改进约会网站的效果，然后使用k-近邻算法改进手写识别系统。本书将使用手写数字识别系统测试程序检测k-近邻算法的效果。