KNN算法

KNN算法

一、算法概述

kNN算法又称为k近邻分类(k-nearest neighbor classification)算法。 kNN算法是从训练集中找到和新数据最接近的k条记录，然后根据他们的主要分类来决定新数据的类别。该算法涉及3个主要因素：训练集、距离或相似的衡量、k的大小。

二、算法要点

1、指导思想

kNN算法的指导思想是“近朱者赤，近墨者黑”，由你的邻居来推断出你的类别。

计算步骤如下：

 1）算距离：给定测试对象，计算它与训练集中的每个对象的距离

 2）找邻居：圈定距离最近的k个训练对象，作为测试对象的近邻

 3）做分类：根据这k个近邻归属的主要类别，来对测试对象分类

2、距离或相似度的衡量

什么是合适的距离衡量？距离越近应该意味着这两个点属于一个分类的可能性越大。其中距离衡量包括欧几里得距离（Euclidean Distance）、欧几里得距离（Euclidean Distance、曼哈顿距离（Manhattan distance、 切比雪夫距离（Chebyshev Distance）、马氏距离(Mahalanobis distance)，要想具体了解自己去查阅资料。

对于文本分类来说，使用余弦(cosine)来计算相似度就比欧式(Euclidean)距离更合适。

3、类别的判定

投票决定：少数服从多数，近邻中哪个类别的点最多就分为该类。

加权投票法：根据距离的远近，对近邻的投票进行加权，距离越近则权重越大（权重为距离平方的倒数）

三、优缺点

1、优点

1. 简单，易于理解，易于实现，无需估计参数，无需训练

2. 适合对稀有事件进行分类（例如当流失率很低时，比如低于0.5%，构造流失预测模型）

3. 特别适合于多分类问题(multi-modal,对象具有多个类别标签)，例如根据基因特征来判断其功能分类，kNN比SVM的表现要好

2、缺点

懒惰算法，对测试样本分类时的计算量大，内存开销大，评分慢

可解释性较差，无法给出决策树那样的规则。

代码

from sklearn import datasets #sklearn的数据集
from sklearn.neighbors import KNeighborsClassifier#sklearn模块类的KNN类
import numpy as np

np.random.seed(0)#设置随机种子
iris=datasets.load_iris()#获取鸢尾花数据集
iris_x=iris.data#数据部分
iris_y=iris.target#类别部分
#从150条数据中选140条作为训练集，10条作为测试集。permutation接受一个数作为参数（这里为数据集长度150）产生一个0-149乱序一维数组
randomarr=np.random.permutation(len(iris_x))
iris_x_train =iris_x[randomarr[:-10]]#训练集数据
iris_y_train =iris_y[randomarr[:-10]]#训练集标签
iris_x_test =iris_x[randomarr[-10:]]#测试集数据
iris_y_test = iris_y[randomarr[-10:]]#测试集标签

#定义一个knn分类器对象
knn=KNeighborsClassifier();
#调用该对象的训练方法，主要接收俩个参数：训练数据集及其类别标签
knn.fit(iris_x_train,iris_y_train)

#调用预测方法，主要接受一个参数：测试数据集
iris_y_predict = knn.predict(iris_x_test)

#计算各测试样本预测的概率值 这里我们没有用概率值，但是在实际工作中可能会参考概率值来进行最后的结果筛选，而不是直接使用给出的预测标签
probility=knn.predict_proba(iris_x_test)

#计算与最后一个测试样本距离最近的个点，返回的是这些样本的序号组成的数组
neighborpoint=knn.kneighbors([iris_x_test[-1]],5)

#调用该对象的打分方法，计算出准确率
score=knn.score(iris_x_test,iris_y_test,sample_weight=None)

#输出测试结果
print('iris_y_predict=')
print(iris_y_predict)
#输出原始测试集数据的正确标签，以方便对比
print("iris_y_test")
print(iris_y_test)
print(score)

补充

鸢尾花数据集的描述
knn分类器