K-近邻算法

K-近邻算法

一、初步介绍一下

k近邻分类算法是一种基于实例的算法，是一种非参数的分类算法。

K-近邻分类方法通过计算每个训练样本到待分类样本的距离，取和待分类样品最近的k个训练样本，这k个样品中哪个类别的训练样本占多数，则待分类样本就属于哪个类别。简单的说，此算法采用测量不同特征值之间的距离方法进行分类。可以这么理解：如果走路像鸭子，叫像鸭子，看起来像鸭子，那么很可能就是一只鸭子。

K-NN算法的详细步骤如下：

1. 计算已知类别数据集中的点与当前点之间的距离；
2. 按照距离递增次序排序；
3. 选取与当前点距离最小的k个点；
4. 确定前k个点所在类别出现的频率；
5. 返回前k个点出现频率最高的类别作为当前点的预测分类；

根据K-NN算法的原理和步骤可以知晓，K-NN算法对k值的依赖较高。

K-近邻算法有如下优缺点：

1. 优点：精度高，对异常值不敏感，无数据输入假定
2. 缺点：计算复杂度高、空间复杂度高

二、代码

from numpy import *
import operator
from os import listdir

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()     
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.iteritems(),
    key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

三、采用sklearn

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
iris=datasets.load_iris()
x=iris.data
y=iris.target
 
#sklearn自带的train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y)
knn_classifier=KNeighborsClassifier(6)
knn_classifier.fit(x_train,y_train)
y_predict=knn_classifier.predict(x_test)
scores=knn_classifier.score(x_test,y_test)
print('acc:{}'.format(sum(y_predict==y_test)/len(x_test)),scores)