KNN算法的理解以及Python实现

参考大佬文章https://blog.csdn.net/c406495762/article/details/75172850

1.KNN算法的个人理解

个人感觉KNN算法（K-NearestNeighbor）一种极其简单粗暴的分类方法，举一个例子，比如说你想知道一个人是不是喜欢打游戏，就可以观察他最亲密的几个朋友是不是都喜欢打游戏，如果大多数都喜欢打游戏，可以推测这个人也喜欢打游戏。KNN就是基于这种有点“物以类聚，人以群分”的简单粗暴的想法来进行分类的。

2.KNN核心思想

在给定一个训练数据集，再给定一个需要作出预测的数据，然后再在训练数据集中寻找k（这个就是KNN的K的由来）个与待预测数据最近（通常我们可以取欧氏距离作为距离的度量）的数据。最后选取k个数据中出现最多的分类作为待预测数据的分类。

欧氏距离：

3.KNN的实现代码

def KNN(inpudata,data_matrix,label_matrix,k):
    '''

    :param inpudata: 待预测的数据
    :param data_matrix: 数据集
    :param label_matrix: 数据集的标签
    :param k: 寻找的近邻数
    :return: 分类的结果
    '''
    datalen=data_matrix.shape[0]
    inpudata=np.tile(inpudata,(datalen,1))#海伦约会的例子将数据变成(datalen,3)
    sub=inpudata-data_matrix
    sq=sub**2
    sum=sq.sum(axis=1)#按行方向求和
    distance=sum*0.5
    sorteddisarg=distance.argsort()# 按距离从小到大排序的索引
    classcount={}#记录各出现次数
    for i in range(k):
        vote=label_matrix[sorteddisarg[i]]# 第i个元素的类别
        classcount[vote]=classcount.get(vote,0)+1 #给vote这个键的值加一，如果这个键不存在，则创建并设置默认值0
    # key=operator.itemgetter(1)根据字典的值进行排序，为0根据字典的键进行排序
    # reverse降序排序字典
    result=sorted(classcount.items(),key=operator.itemgetter(1),reverse=True)
    return result[0][0] #返回分类的结果

4.例子

下面以海伦约会的例子来运用实现的KNN算法
海伦约会数据集下载

数据总共有1000行
特征
1.每年飞行里程数
2.玩游戏时间
3.每周消费的冰淇淋公升数
标签
1.didntLike
2.smallDoses
3.largeDoses

下面展示数据集的可视化结果：

由上图可见，海伦喜欢每年有适当飞行公里数的人（大概在40000左右），而且有一定游戏时间数的男人，但是不喜欢那种一直在外面飞的男人。

下面先来进行KNN算法的准确度计算：
我们取该数据集前面十分之一作为测试集，后面的十分之九作为训练集，检验一下分类的正确率：

建议在实现过程中对数据实现归一化，因为在此数据集中，相比于游戏时间和每周冰淇淋消费公升数，飞机飞行公里数在数值上最大，它的变化对距离的计算产生的影响也就更大，也就更容易影响到最后的分类结果。但是海伦在约会实例中我们认为三个特征同等重要，因此我们需要将所有的特征的取值范围进行限制，让三个特征对最终的分类结果的影响相同。

经过测试后发现归一化前后测试数据的正确率前者为80%,后者为96%
归一化前：           归一化后：

最后我们给出3组数据然后使用KNN进行预测：

预测结果：

6.KNN的优缺点

优点：1.只找离待预测点最近的K个值，对异常的值不敏感
   2.理解与实现都很容易
缺点：1.计算量大，内存开销大

7.上面例子的测试代码

点击此处查看