Python KNN 算法

KNN算法

---

博文类型： 学习向
背景： 本科阶段参加数学建模比赛对于数据归类方面的赛题，需要用该技术得到的结果与其他技术得到的结果进行比较
目标： 了解什么是knn算法并能进行初步的运用

---

一、前期准备

• python环境
• matplotlib、numpy、Counter模块
• 示例数据

二、正文

1.KNN的定义

邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。
所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。
KNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。
KNN方法在类别决策时，只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。

2.KNN的流程

上图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3 ，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。
备注1：:
KNN算法不仅可以用于分类，还可以用于回归。通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。更有用的方法是将不同距离的邻居对该样本产生的影响给予不同的权值(weight)，如权值与距离成反比。（这个以后再学）

3.示例

现有苹果和西瓜两个类别，它们包含两个特征：体积，表皮颜色
苹果的颜色等级分为1-5，西瓜的颜色等级分为6-10
苹果类别为1
西瓜类别为2

以体积为横轴、以表皮颜色为纵轴作图：
代码1：

import matplotlib.pyplot as pl
x=[1,1.2,1.5,1.8]
y=[1,3,4,5]
a=[12.5,15,13.2,11.2,16.5]
b=[8,6,9,10,7]
pl.plot(x,y,'or')
pl.plot(a,b,'o')
pl.show()

结果1：
红色代表苹果，蓝色代表西瓜

4.KNN代码展示和分析

1.KNN过程代码

代码2：

import numpy as np#这个是用来搞数学数组的
from collections import Counter#这个是用来搞统计的
def predict(train,values,pre,k):#预测 train:训练组的特征 values：每个样品的类别 pre:待预测的样品 k:选择距离最近的k个
    result_final=[]#用来存放最后的预测结果
    for pre_son in pre:
        distances=[sum((i-pre_son)**2) for i in train]#算距离
        nearest=np.argsort(distances)#按索引排序
        result=[values[i] for i in nearest[:k]]
        result_fin=Counter(result)#统计每个类别的个数
        result_final.append(result_fin.most_common(1)[0][0])#取最多的那一个
    return result_final
def sorce(train,value,q):#算正确率
    a=train[:q]
    b=train[q:]
    a_r=value[:q]
    b_r=value[q:]
    c=predict(a,a_r,b,3)
    print(sum(c==b_r)/len(b_r))
    
x=np.array([[11.2,10],[1,1],[1.2,3],[13.2,9],[1.5,4],[15,6],[1.8,5],[12.5,8],[16.5,7]])
y=np.array([1,1,1,1,2,2,2,2,2])
z=np.array([[8,7],[3,5]])
predict(x,y,z,3)
sorce(x,y,4)

这个数据是我自己瞎写的数据量很少，而且不准确导致KNN算法的效果不是很好

2.k值的确定

上面代码中有一个正确率的方法，我打算用这个方法来算正确率最高的那一个k值
我先确定了一个k的取值范围然后用如下代码来选取k：
代码3：

def sorce(train,value,q):#算正确率
    ar=[]
    for i in range(1,12):
        a=train[:q]
        b=train[q:]
        a_r=value[:q]
        b_r=value[q:]
        c=predict(a,a_r,b,3)
        ar.append(sum(c==b_r)/len(b_r))
    arr=np.argsort(np.array(ar))
    print(arr[0]+1)