1.KNN算法简介及其两种分类器
KNN,即K近邻法(k-nearst neighbors),所谓的k最近邻,就是指最接近的k个邻居(数据),即每个样本都可以由它的K个邻居来表达。kNN算法的核心思想是,在一个含未知样本的空间,可以根据离这个样本最邻近的k个样本的数据类型来确定样本的数据类型。 在scikit-learn 中,与近邻法这一大类相关的类库都在sklearn.neighbors包之中。其中分类器有KNN分类树KNeighborsClassifier、限定半径最近邻分类树的类RadiusNeighborsClassifier以及最近质心分类算法NearestCentroid等等。前两种分类算法中,scikit-learn实现两个不同的最近邻分类器:KNeighborsClassifier基于每个查询点的k个最近邻点实现学习,其中k是用户指定的最近邻数量。 RadiusNeighborsClassifier基于每个训练点的固定半径r内的最近邻搜索实现学习,其中r是用户指定的半径浮点值。关于这两种分类器的差别可以参考KNN算法的KD树和球树进行了解。
2.分类器KNeighborsClassifier的python实现以及结果的可视化
基于scikit-learn的KNeighborsClassifier以及RadiusNeighborsClassifier分类器,本文构建样本数据,采用这两种方法进行分类预测,根据结果画出二者的预测集,从而进行比较。 (1)首先是导入各种库。
import numpy as npimport matplotlib.pyplot as pltfrom matplotlib.colors import ListedColormapfrom sklearn import neighbors, datasetsimport pandas as pd
(2)然后生成样本数据,这里要注意需要生成只有两个特征值的数据集。
from sklearn.datasets.samples_generator import make_classification# X为样本特征,y为样本类别输出, 共200个样本,每个样本2个特征,输出有3个类别,没有冗余特征,每个类别一个簇X, y = make_classification(n_samples=200, n_features=2, n_redundant=0,n_clusters_per_class=1, n_classes=3)#之所以生成2个特征值是因为需要在二维平面上可视化展示预测结果,所以只能是2个,3个都不行plt.scatter(X[:, 0], X[:, 1], marker='o', c=y)plt.show() #根据随机生成样本不同,图形也不同
本次结果生成的三个类别分布如下:
![35ce56334ca56760e4d90a12c7a2f8a7.png](https://i-blog.csdnimg.cn/blog_migrate/84a1a93cac4cba9f1f357e986bc7289a.jpeg)
(3)采用KNeighborsClassifier进行分类与预测
clf = neighbors.KNeighborsClassifier(n_neighbors = 15 , weights='distance')clf.fit(X, y) #用KNN来拟合模型,我们选择K=15,权重为距离远近h = .02 #网格中的步长#确认训练集的边界#生成随机数据来做测试集,然后作预测x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h)) #生成网格型二维数据对Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
(4)画出不同预测类别的区域地图以及实际训练数据的类别位置
# Create color mapscmap_light = ListedColormap(['#FFAAAA', '#AAFFAA', '#AAAAFF']) #给不同区域赋以颜色cmap_bold = ListedColormap(['#FF0000', '#003300', '#0000FF'])#给不同属性的点赋以颜色#将预测的结果在平面坐标中画出其类别区域Z = Z.reshape(xx.shape)plt.figure()plt.pcolormesh(xx, yy, Z, cmap=cmap_light)# 也画出所有的训练集数据plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold)plt.xlim(xx.min(), xx.max())plt.ylim(yy.min(), yy.max())plt.show()
得到结果为:
![871362ca5c2e94c63bb0bab2a3ce0388.png](https://i-blog.csdnimg.cn/blog_migrate/96a2ff32fac00bee49079f0576b8f6e3.jpeg)
结果可以看出,预测区域能够涵盖大部分的训练数据,除了少部分训练数据分布异常外(如部分红色点进入绿色区域,蓝色点进入红色区域)。
3.分类器RadiusNeighborsClassifier的python实现以及结果的可视化
其步骤与2中KNeighborsClassifier步骤基本相同,主要是在拟合与预测上采用KNeighborsClassifier分类函数,整个代码为:
clf1 = neighbors.RadiusNeighborsClassifier(10.0, weights='distance')clf1.fit(X, y)Z1 = clf1.predict(np.c_[xx.ravel(), yy.ravel()])Z1 = Z1.reshape(xx.shape)plt.figure()plt.pcolormesh(xx, yy, Z1, cmap=cmap_light)# 也画出所有的训练集数据plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold)plt.xlim(xx.min(), xx.max())plt.ylim(yy.min(), yy.max())plt.show()
得到结果:
![71cf66e51e48a0e61886585358c93c00.png](https://i-blog.csdnimg.cn/blog_migrate/897c124ec9c859023a0679f93668f22f.jpeg)
此图与上图相比,还是有不同的,特别是绿色区域范围扩大了。哪种方法比较好呢?从可视化图形不容易看出,可视化只能直观看出二者的结果差异性,最好的评价二者分类优劣的方法就是计算其预测的误差率(loss funtion)或者准确率(预测正确的个数占总数的比例)。