机器学习——K-近邻算法基础入门（简单易懂）

 目录

一、K-近邻算法概述

1.1 算法优缺点及适用范围

1.2 工作原理

1.3 距离度量

二、Python实现k-近邻算法

2.1 数据准备 

2.2 代码实现

2.3 测试算法

---

一、K-近邻算法概述

简单地说，K-近邻算法就是采用测量不同特征值之间的距离方法来进行分类。 

1.1 算法优缺点及适用范围

优点：精度高，对异常值不敏感，无数据输入假定简单地说。 

缺点：计算复杂度高，空间复杂度高

适用范围：数值型和标称型。

1.2 工作原理

　　存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系，输入没有标签的新数据之后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取出样本集中特征最相似数据的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是K-近邻算法名称的由来。

        我们都知道，电影是可以按题材分类的，下面用电影分类的例子来说明，使用K-近邻算法分类爱情片和动作片。

表1 每部电影的打斗镜头数、接吻镜头数以及电影类型评估类型

电影名称	打斗镜头	接吻镜头	电影类型
电影A	3	104	爱情片
电影B	2	100	爱情片
电影C	1	81	爱情片
电影D	101	10	动作片
电影E	99	10	动作片
电影F	98	2	动作片

        从表1中可以看出的是，接吻镜头多的，是爱情片；打斗镜头多的，是动作片。所以根据我们以往看电影的经验，通过比较打斗镜头和接吻镜头多少来判断电影类型，我们是较为认可的。给出未知的电影类型，我们可以根据自己以往经验来对已经给出的打斗镜头和接吻镜头进行判断，这个电影是属于爱情片还是动作片。K-近邻算法也可以像我们一样做到这一点，但不同的地方在是，K-邻近算法是靠已有的数据。

1.3 距离度量

        如下散点图，表示出了打斗镜头和接吻镜头数分类电影。若给出电影G，打斗镜头为18，接吻镜头为90，如下散点图中（18,90）红色点，如何确定他是爱情片还是动作片呢？

图1  打斗镜头和接吻镜头数分类电影

        从我们的以往经验看，打斗镜头为18，接吻镜头为90，接吻镜头明显多余打斗镜头，我们可以判断出红点表示的是爱情片。同样，在散点图上我们也可以看出红点（18,90）距离（3,104）、（2,100）、（1,81）三点更近，且这三点是爱情片，由此判断这个红点可能属于爱情片。

        按图1的电影分类来看，X坐标是打斗镜头数，Y坐标是接吻镜头数，在二维坐标系里表示了电影分类的特征，可以使用两点距离公式计算距离，公式如下所示：

     通过使用两点距离公式计算距离，可以得到如下的结果： 

表2 已知类型的电影与未知类型的电影的距离

电影名称	与未知类型的电影G的距离
电影A	20.5
电影B	18.7
电影C	19.2
电影D	115.3
电影E	117.4
电影F	118.9

         通过计算，我们得到了样本集中所以电影与未知电影的距离，按照距离递增排序，可以找到k个距离最近的电影。假定k=3，则三个最近的电影依次是电影B、电影C、电影A。K-近邻算法按照距离最近的三部电影类型，决定未知电影的类型，而这三部电影都是爱情片，因此我们判定未知电影是爱情片。

1.3 k-近邻算法的一般流程

(1)收集数据：可以使用任何方法。
(2)准备数据：距离计算所需要的数值，最好是结构化的数据格式。
(3)分析数据：可以使用任何方法。
(4)训练算法：此步骤不适用于k-近邻算法。 
(5)测试算法：计算错误率。
(6)使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类,最后应用对计算出的分类执行后续的处理。

二、Python实现k-近邻算法

2.1 数据准备 

(1) 以电影分类的例子来准备数据

①用 i （ i = 1,2,3,4,5,6）表示电影A、B、C、D、E、F，即给电影排序；

②用一维数组labesl[i]表示第i部电影的电影类型：

   labels[1] =  labels[2] = labels[3] = 'Love'、 labels[4] =  labels[5] = labels[6] = 'Action';

③用二维数组group[i,j]表示第i部电影的电影打斗镜头和接吻镜头：

   group[i,j] = [3,104]、group[i,j] = [2,100]、group[i,j] = [1,81]

   group[i,j] = [101,10]、group[i,j] = [99,5]、group[i,j] = [98,2]

(2) 数据准备的代码

        我们需要导入Python的两个模块：科学计算包NumPy和运算符模块。NumPy函数库是Python开发环境的一个独立模块，大多数Python版本里没有默认安装NumPy函数库，因此这里我们需要单独安装这个模块。

from numpy import *
import operator

#训练样本集以及对应的类别
def createDateSet():
    group = array([3,104],[2,100],[1,81],[101,10],[99,5],[98,2])
    labels = ['Love','Love','Love','Action','Action','Action']
    return group,labels

        在createDataSet（）函数里创建数据集group和标签lables作为训练样本，根据工作原理可知，数据集中每个数据都有标签，labels包含的元素个数等于group矩阵的行数。如下图，是带有类标签信息的六个数据点。

图2 k-近邻算法：带有6个数据点的简单例子

  

2.2 代码实现

(1) K-近邻算法实现思路

   ①计算已知类别数据集中的点与当前点之间的距离；

   ②按照距离递增次序排序；

   ③选取与当前点距离最小的k个点；

   ④确定前k个点所在类别的出现频率；

   ⑤返回前k个点中出现频率最高的类别作为当前点的预测分类。

(2) Python实现K-近邻算法

  输入参数说明： inX用于分类的输入向量，即输入的要分类的“坐标”；dataSet输入的训练样本集；labels标签向量；k用于选择最近邻居的数目。 

  欧式距离公式：求类别数据集中的点与当前点之间的距离，公式如下：

  代码说明：欧式距离公式计算的代码

diffMat = tile(inX, (dataSetSize, 1)) - dataSet
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis = 1)
distances = sqDistances ** 0.5

         dataSet是一个二维数组，输入的分类向量inX是一维数组，用tile函数把inX重复六行，且每列一个inX，从而获得一个二维数组diffMat，保证inX变成能与dataSet相减的二维数组的，从而获得[x1-x2,y1-y2]的二维数组。二维数组sqDiffMat用于保存了二维数组diffMat平方值，即是二维数组[(x1-x2)^2，(y1-y2)^2]的值。然后在对sqDiffMat求和，axis=1表示列相加，即获得(x1-x2)^2+(y1-y2)^2值，存于一维数组sqDistances。sqDistances开平方就得到了一维数组distances。

  代码实现：

def classify(inX, dataSet, labels, k):
    #dataSetSize是训练样本集数量
    dataSetSize = dataSet.shape[0]

    #距离计算——欧式距离公式
    #tile函数，把inX变成能与dataSet相减的二维数组
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    #axis=1是列相加求和，即得到(x1-x2)^2+(y1-y2)^2的值
    sqDistances = sqDiffMat.sum(axis = 1)     
    distances = sqDistances ** 0.5

    #按照距离递增次序排序，返回下标
    sortedDistIndicies = distances.argsort()

    #选择距离最小的k个点
    classCount = {}
    for i in range(k):
        voteILabel = labels[sortedDistIndicies[i]]
        classCount[voteILabel] = classCount.get(voteILabel,0) + 1

    #按照字典里的关键字的值排序，reverse=True降序排序
    sortedClassCount = sorted(classCount.items(), key = operator.itemgetter(1), reverse = True)
    
    #返回类别最多的标签
    return sortedClassCount[0][0]

2.3 测试算法

(1) 测试代码

i = 0
print("训练样本集")
group, labels = createDateSet()
for item in group:
    print('电影%c：打斗镜头%3d次  接吻镜头%3d次  电影类型 %s'%(chr(ord('A')+i),item[0],item[1],labels[i]))
    i += 1

print("\n测试数据集")
myTests = array([[18,90],[20,66],[50,23]])
myLabels = []
for i in range(3):
    myLabels.append(classify(myTests[i], group, labels, 3))
    print('电影%c：打斗镜头%3d次  接吻镜头%3d次  电影类型 %s'%(chr(ord('A')+i),myTests[i][0],myTests[i][1],myLabels[i]))

(2) 测试结果

我们已经构造了第一个分类器，测试数据的结果符合我们的预期，这样简单的通过K-邻近算法来解决电影类型分类的问题，使用这个分类器还可以解决很多问题。

(3) 评估方法

        错误率是常用的评估方法，是分类错误的样本数占样本总数的比例。

        机器学习算法一个很重要的工作就是评估算法的正确率，通常我们只提供已有数据的90%作为训练样本来训练分类器，而使用其余的10%数据去测试分类器，检测分类器的正确率。10%数据应该是随机选择的。