KNN算法笔记

1.K近邻分类

想要对新数据点做出预测，算法会在训练数据集中找到最近的数据点，也就是它的“最近邻”。
k-NN 算法最简单的版本只考虑一个最近邻，也就是与预测的数据点最近的训练数据点。

import mglearn
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
mglearn.plots.plot_knn_classification(n_neighbors=1)#1个最近的邻居

除了仅考虑最近邻，我还可以考虑任意个（k 个）邻居。这也是 k 近邻算法名字的来历。在考虑多于一个邻居的情况时，我们用“投票法”（voting）来指定标签。也就是说，对于每个测试点，我们数一数多少个邻居属于类别 0，多少个邻居属于类别 1。然后将出现次数更多的类别（也就是 k 个近邻中占多数的类别）作为预测结果。

import mglearn
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
mglearn.plots.plot_knn_classification(n_neighbors=3)#三个最近的邻居

完整代码

import mglearn
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier

#将数据分为测试集和训练集
X, y = mglearn.datasets.make_forge()
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

clf = KNeighborsClassifier(n_neighbors=3)#设置三个最近的邻居
mglearn.plots.plot_knn_classification(n_neighbors=3)
clf.fit(X_train, y_train)#训练
a=clf.predict(X_test)#预测
print("Test set predictions: {}".format(a))

#用score评估模型
b=clf.score(X_test, y_test)
print("Test set accuracy: {:.2f}".format(b))

结果：
注：用pycharm会有警告，因为mglearn包版本只有0.19.2，最少要0.21+，所以本文所有代码均用jubyter运行。

2. KNeighbors分类器优缺点

优点：不需要做过多调参。
缺点：如果训练集很大（特征数很多或者样本数很大），预测速度可能会比较慢。因此，使用 k-NN 算法时，对数据进行预处理是很重要的。