K-近邻算法

最新推荐文章于 2024-10-17 11:39:06 发布

m0_74318688

最新推荐文章于 2024-10-17 11:39:06 发布

阅读量1.8k

点赞数 36

文章标签：近邻算法算法

本文链接：https://blog.csdn.net/m0_74318688/article/details/137089301

版权

K-近邻算法

1.1 k近邻算法概述

k近邻算法采用测量不同特征值之间的距离方法进行分类。优点是精度高、对异常值不敏感、无数据输入假定；缺点是计算复杂度高、空间复杂度高。适用数据范围：数值型和标称型。

k近邻算法的工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k近邻算法中的k，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

k近邻算法的一般流程

（1）收集数据：可以使用任何方法。

（2）准备数据：距离计算所需要的数值，最好是结构化的数据格式。

（3）分析数据：可以使用任何方法。

（4）训练算法：此步骤不适用于k-近邻算法。

（5）测试算法：计算错误率。

（6）使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

1.1.1 使用python导入数据

创建一个kNN.py的文件，增加以下代码：

from numpy import *
import operator

def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

其中，导入了科学计算包NumPy和运算符模块，函数createDataSet()是用来创建数据集和标签的，group矩阵每行包含一个不同的数据,使用两个特征，向量label包含每个数据点的标签信息，label包含的元素个数等于group矩阵行数。

1.1.2 实施kNN分类算法

使用k-近邻算法将每组数据划分到某个类中，伪代码如下：

（1）计算已知类别数据集中的点与当前点之间的距离；

（2）按照距离递增次序排序；

（3）选取与当前点距离最小的k个点；

（4）确定前k个点所在类别的出现频率；

（5）返回前k个点出现频率最高的类别作为当前点的预测分类。

classify0()函数中有四个输入参数:inX、dataSet、labels、k

inX：用于分类的输入向量

dataSet：输入的训练样本集

labels：标签向量

k：用于选择最近邻居的数目

标签向量的元素数目和矩阵dataSet的行数相同

使用欧氏距离公式，计算两个向量点xA和xB之间的距离：

$eq?d%20%3D%20%5Csqrt%7B%5Cleft%20%28%20xA_%7B0%7D%20-xB_%7B0%7D%5Cright%20%29%5E%7B%5E%7B2%7D%7D+%5Cleft%20%28%20xA_%7B1%7D-xB_%7B1%7D%20%5Cright%20%29%5E%7B2%7D%7D$

计算完所有点的距离之后，对数据按照从小到大的次序排序。然后，确定前k个距离最小元素所在的主要分类，输入k总是正整数；最后，将classCount字典分解为元组列表，然后使用程序第二行导入运算符模块的items方法(在python3中没有itemgetter这个属性了，直接用items就可以)，按照第二个元素的次序对元组进行排序，此处的排序为逆序，即按照从最大到最小次序排序，最后返回发生频率最高的元素标签。

代码如下：

def classify0(inX,dataSet,labels,k):
    dataSetSize = dataSet.shape[0] 
    #计算距离
    diffMat = tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distance = sqDistances**0.5
    #选择距离最小的k个点
    #argsort()函数：按照递增次序排序
    sortedDistIndicies = distance.argsort()
    classCount={}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
    #排序
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

以下是对用到方法的理解：

tile(A，n)：将数组A重复n次，构成一个新的数组

axis：这里是用于sum的，设置axis=1是按照横轴进行下去（axis=0就是竖轴）

argsort()：对数组中的元素从小到大排序，并返回相应序列元素的数组下标

get()在以上的用法如下
classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
使得与如下代码效果一致
classCount[voteIlabel] = 0
classCount[voteIlabel] = classCount[voteIlabel]+1
items()：将classCount字典分解为元组列表

itemgetter(1)：通过classCount.items()这个元组列表的第二个域排序

sorted()函数默认升序排序，这里需要降序因此要 reverse=True

分类算法完成后来测试一下，输入代码，预测输出结果是B

a=classify0([0,0],group,labels,3)
print(a)

运行结果如图，结果符合预期

1.2 示例：使用K-近邻算法分类爱情片和动作片

表1 每部电影的打斗镜头数、接吻镜头数以及电影类型评估类型
电影名称	打斗镜头	接吻镜头	电影类型
电影A	3	104	爱情片
电影B	2	100	爱情片
电影C	1	81	爱情片
电影D	101	10	动作片
电影E	99	10	动作片
电影F	98	2	动作片

据表1中可以看出，接吻镜头多的是爱情片；打斗镜头多的是动作片。通过比较打斗镜头和接吻镜头多少来判断电影类型，打斗镜头与接吻镜头就可以看作两个特征。给出未知的电影类型，我们可以根据打斗镜头和接吻镜头进行判断，这个电影是属于爱情片还是动作片。K-近邻算法就可根据这些特征来算出电影的类型。

1.2.1 数据准备

先展示代码：

from numpy import *
import operator


# 训练样本集以及对应的类别
def createDateSet():
    group = array([[3, 104], [2, 100], [1, 81], [101, 10], [99, 5], [98, 2]])
    labels = ['Love', 'Love', 'Love', 'Action', 'Action', 'Action']
    return group, labels

①用 i （ i = 1,2,3,4,5,6）表示电影A、B、C、D、E、F，即给电影排序；

②用一维数组labesl[i]表示第i部电影的电影类型：

labels[1] = labels[2] = labels[3] = 'Love'、 labels[4] = labels[5] = labels[6] = 'Action';

③用二维数组group[i,j]表示第i部电影的电影打斗镜头和接吻镜头：

group[i,j] = [3,104]、group[i,j] = [2,100]、group[i,j] = [1,81]

group[i,j] = [101,10]、group[i,j] = [99,5]、group[i,j] = [98,2]

1.2.2 实施kNN分类算法

整个流程都与类似，具体的函数功能也在上面，就不再重复了。下面解释一下上文未提及的欧式距离公式的代码

公式： $eq?d%20%3D%20%5Csqrt%7B%5Cleft%20%28%20xA_%7B0%7D%20-xB_%7B0%7D%5Cright%20%29%5E%7B%5E%7B2%7D%7D+%5Cleft%20%28%20xA_%7B1%7D-xB_%7B1%7D%20%5Cright%20%29%5E%7B2%7D%7D$

代码如下：

diffMat = tile(inX, (dataSetSize, 1)) - dataSet
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances ** 0.5

dataSet是一个二维数组，输入的分类向量inX是一维数组，用tile函数把inX重复六行，且每列一个inX，从而获得一个二维数组diffMat，保证inX变成能与dataSet相减的二维数组的，从而获得[x1-x2,y1-y2]的二维数组。二维数组sqDiffMat用于保存了二维数组diffMat平方值，即是二维数组[(x1-x2)^2，(y1-y2)^2]的值。然后在对sqDiffMat求和，axis=1后，即获得(x1-x2)^2+(y1-y2)^2值，存于一维数组sqDistances。sqDistances开平方就得到了一维数组distances。

分类算法也是一样的，代码如下：

def classify(inX, dataSet, labels, k):
    # dataSetSize是训练样本集数量
    dataSetSize = dataSet.shape[0]

    # 距离计算——欧式距离公式
    # tile函数，把inX变成能与dataSet相减的二维数组
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    # axis=1是列相加求和，即得到(x1-x2)^2+(y1-y2)^2的值
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances ** 0.5

    # 按照距离递增次序排序，返回下标
    sortedDistIndicies = distances.argsort()

    # 选择距离最小的k个点
    classCount = {}
    for i in range(k):
        voteILabel = labels[sortedDistIndicies[i]]
        classCount[voteILabel] = classCount.get(voteILabel, 0) + 1

    # 按照字典里的关键字的值排序，reverse=True降序排序
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)

    # 返回类别最多的标签
    return sortedClassCount[0][0]

写一个测试代码：

i = 0
print("训练样本集")
group, labels = createDateSet()
for item in group:
    print('电影%c：打斗镜头%3d次  接吻镜头%3d次  电影类型 %s' % (chr(ord('A') + i), item[0], item[1], labels[i]))
    i += 1

print("\n测试数据集")
myTests = array([[18, 90], [20, 66], [50, 23]])
myLabels = []
for i in range(3):
    myLabels.append(classify(myTests[i], group, labels, 3))
    print('电影%c：打斗镜头%3d次  接吻镜头%3d次  电影类型 %s' % (
    chr(ord('1') + i), myTests[i][0], myTests[i][1], myLabels[i]))