6、[python]K近邻算法（KNN）

一、KNN算法

就是在训练集中数据和标签已知的情况下，输入测试数据，将测试数据的特征与训练集中对应的特征进行相互比较，找到训练集中与之最为相似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个分类，其算法的描述为：

1）计算测试数据与各个训练数据之间的距离；
2）按照距离的递增关系进行排序；
3）选取距离最小的K个点；
4）确定前K个点所在类别的出现频率；
5）返回前K个点中出现频率最高的类别作为测试数据的预测分类。

二、python实现

在scikit-learn中，内置了若干个玩具数据集（Toy Datasets），还有一些API让我们可以自己动手生成一些数据集。接下来用生成数据集的方式来进行展示：

#导入数据集生成器
from sklearn.datasets import make_blobs

#导入knn分类器
from sklearn.neighbors import KNeighborsClassifier

#导入画图工具
import matplotlib.pyplot as plt

#导入数据集拆分工具
from sklearn.model_selection import train_test_split

#生成样本数为200，分类为2的数据集
data = make_blobs(n_samples=200, centers=2, random_state=8)
X, y = data

#将生成的数据集进行可视化
plt.scatter(X[:,0],X[:,1],c=y,cmap=plt.cm.spring, edgecolor='k')
plt.show()

2.1 结果分析

可以看出make_blobs生成的数据集一共有两类，有人会有疑问：这不是已经分好类了吗？为什么还需要k紧邻算法？

答案：我们这生成的数据机，可以看作机器学习的训练数据集，是已知的数据。我们就是基于这些数据用算法进行模型的训练，然后再对新的位置数据进行分类或回归。

下面用k紧邻算法来拟合这些数据。

2.2 使用K紧邻算法拟合

代码如下：

#在使用NumPy库之前，首先必须导入该函数库
import numpy as np
#创建KneighborsClassifier()方法的实例
clf = KNeighborsClassifier()
#调用KneighborsClassifier()类里面的fit()函数
#fit(X，y)：使用X作为训练数据，y作为目标值（类似于标签）来拟合模型。
clf.fit(X,y)

#下面的代码用于画图
x_min, x_max = X[:,0].min() - 1, X[:,0].max() + 1
y_min, y_max = X[:,1].min() - 1, X[:,1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, .02),
                     np.arange(y_min, y_max, .02))
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.pcolormesh(xx, yy, Z, cmap=plt.cm.Pastel1)
plt.scatter(X[:,0], X[:,1], c=y, cmap=plt.cm.spring, edgecolor='k')
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), xx.max())
plt.title("Classifier:KNN")

plt.show()

结果如下：