k-近邻算法的原理和代码实现

 一、k-近邻算法的基本原理

对于未知类别属性数据集中的点：

（1）计算已知类别数据集中的每个点与当前点之间的距离；

使用欧式距离公式，计算两个向量点xA和xB之间的距离公式如下：

                

（2）按照距离递增次序排序；

（3）选取与当前点距离最小的k个点；

（4）确定前k个点所在类别的出现频率；

（5）返回前k个点出现频率最高的类别作为当前点的预测分类。

 

二、k-近邻算法的三要素

k值的选择、距离度量、分类决策规则

 

三、k-近邻算法的评价

1.  优点

（1）k-近邻算法是分类数据最简单最有效的算法，它是一种lazy-learning算法；

（2）分类器不需要使用训练集进行训练，训练时间复杂度为0。

 

2.  缺点

（1）计算复杂度高、空间复杂度高：kNN分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为n，那么kNN的分类时间复杂度为O(n)；

（2）耗内存：必须保存全部的数据集，如果训练数据集很大，必须使用大量的存储空间；

（3）耗时间：必须 对数据集中的每一个数据计算距离值，实际使用时可能非常耗时；

（4）无法给出任何数据的基础结构信息（数据的内在含义），这是k-近邻算法最大的缺点。

 

四、k-近邻算法的问题及解决方案

问题1：当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的k个邻居中大容量类的样本占多数。

解决：不同样本给予不同的权重项

问题2：数字差值最大的属性对计算结果的影响最大

解决：在处理不同取值范围的特征值时，通常采用的方法是将数值归一化，如将取值范围处理为0到1或者-1到1之间。

 

五、k-近邻算法的代码实现

#导入科学计算库
import numpy as np
#导入运算符模块
#k-近邻算法执行排序操作时将使用这个模块提供的函数
import operator as op

def createDataSet():
    #定义6个训练样本集，每个样本有2个特征
    group = np.array([[3,104],
                [2,100],
                [1,81],
                [101,10],
                [99,5],
                [98,2]])
    #定义每个样本点的标签值
    labels = ['A','A','A','B','B','B']
    return group,labels

#k-近邻算法代码
#inX：待分类点；dataSet：训练数据集；labels：标签；k：最近邻居数目
def classify0(inX, dataSet, labels, k):
    #dataSet.shape[0] ：第一维的长度（行）；dataSet.shape[1] ：第二维的长度（列）
    dataSetSize = dataSet.shape[0]
    
    #步骤1：计算距离
    #作差：首先将待分类点inX复制成dataSetSize行1列，然后再和训练数据集中的数据作差（对应元素相减）
    diffMat = np.tile(inX, (dataSetSize,1))-dataSet
    #平方
    sqDiffMat = diffMat ** 2
    #按行求和
    sqDistances = sqDiffMat.sum(axis = 1)
    #开根
    distances = sqDistances ** 0.5
    #argsort()：返回的是数组值从小到大的索引值（注意是索引值）
    sortedDistIndicies = distances.argsort()
    
    #步骤2：选择距离最小的k个点
    #classCount：字典 key/value键值
    classCount={}
    for i in range(k):
        #返回距离较小的k个点labels值
        voteIlabel = labels[sortedDistIndicies[i]]
        #字典中的key取值value
        #get()：返回指定键voteIlabel的值，如果值存在字典就加1，如果值不在字典中返回0
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
        
    #步骤3：对字典classCount进行排序
    #逆向排序，从大到小（出现次数value值）
    #sortedClassCount：对字典排序 ，返回的是List列表,不再是Dictionary字典。
    sortedClassCount = sorted(classCount.items(),
                             key=operator.itemgetter(1),
                             reverse=True)
    #返回出现频率最高的元素标签
    return sortedClassCount[0][0]

classify0([18,90],group,labels,3)

六、算法中一些函数的说明

1.  .argsort()函数：返回的是数组值从小到大的索引值

Examples
    --------
    One dimensional array:一维数组
    
    >>> x = np.array([3, 1, 2])
    >>> np.argsort(x)
    array([1, 2, 0])
    
    Two-dimensional array:二维数组
    
    >>> x = np.array([[0, 3], [2, 2]])
    >>> x
    array([[0, 3],
           [2, 2]])
    
    >>> np.argsort(x, axis=0) #按列排序
    array([[0, 1],
           [1, 0]])
    
    >>> np.argsort(x, axis=1) #按行排序
    array([[0, 1],
           [0, 1]])

#######################################

例1：

>>> x = np.array([3, 1, 2])
>>> np.argsort(x) #按升序排列
array([1, 2, 0])
>>> np.argsort(-x) #按降序排列
array([0, 2, 1])

>>> x[np.argsort(x)] #通过索引值排序后的数组
array([1, 2, 3])
>>> x[np.argsort(-x)]
array([3, 2, 1])

另一种方式实现按降序排序：

>>> a = x[np.argsort(x)]
>>> a
array([1, 2, 3])
>>> a[::-1]
array([3, 2, 1])   

另外说到排序，还有两个常用的函数sort和sorted，详细内容请看：

 

2.  sorted()函数

 

更多AI资源请关注公众号：大胡子的AI

欢迎各位AI爱好者加入群聊交流学习：882345565（内有大量免费资源哦！）

版权声明：本文为博主原创文章，未经博主允许不得转载。如要转载请与本人联系。