python机器学习基础——监督学习算法之k近邻分类模型

yangmishiwonvshen

已于 2023-04-04 17:03:30 修改

阅读量432

点赞数

文章标签： python 机器学习算法

于 2023-04-03 21:10:41 首次发布

本文链接：https://blog.csdn.net/qq_42340965/article/details/129939266

版权

定义

K-nn算法可以说是最简单的机器学习算法构建模型，只需要保存训练数据集即可想要对新数据点做出预测，算法会在训练数据集中找到最近的临近点，也就是说他的最近邻。

利用sklearn实现k近邻

from sklearn.datasets import make_blobs
import mglearn
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
import numpy as np

# make_blobs是生成数据集的函数
X, y = make_blobs(centers=2, random_state=4, n_samples=30)
# 将生成的数据划分成训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
print(X_train.shape)
print(X_train)
# 然后导入类并将其实例化。这时可以设定参数，比如邻居的个数。这里，我们将其设为3
from sklearn.neighbors import KNeighborsClassifier
clf = KNeighborsClassifier(n_neighbors=3)
# 现在，利用训练集对这个分类器进行拟合。对于KNeighborsClassifer来说就是保存数据集，以便在预测时计算与邻居间的距离
clf.fit(X_train, y_train)
# 调用predict方法来对测试数据进行预测，对于测试集中的每个数据点，都要计算它在训练集的最近邻
# 然后找出其中出现次数最多的类别
print("Test set predictions:{}".format(clf.predict(X_test)))
# 为了评估模型的泛化能力好坏，我们可以对测试数据和测试标签调用score方法
print("Test set accuracy:{:.2f}".format(clf.score(X_test, y_test)))
# 可以看到，我们的模型精度约为88%，也就是说，在测试数据集中，模型对其中88%的样本预测的类别都是正确的

分析KNeighborsClassifier

对于二维数据集，我们还可以在xy平面上画出所有可能的测试点的预测结果。我们根据平面中每个点所属的类别对平面进行着色。这样可以查看决策边界即算法对类别0和类别1的分界线.
下列代码分别将1个、3个和9个邻居三种情况的决策边界可视化:

from sklearn.datasets import make_blobs
import mglearn
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
import numpy as np
X, y = make_blobs(centers=2, random_state=4, n_samples=30)
fig, axes = plt.subplots(1, 3, figsize=(10, 3))
for n_neighbors, ax in zip([1, 3, 9], axes):
    clf = KNeighborsClassifier(n_neighbors=n_neighbors).fit(X, y)
    mglearn.plots.plot_2d_separator(clf, X, fill=True, eps=0.5, ax=ax, alpha=.4)
    mglearn.discrete_scatter(X[:, 0], X[:, 1], y, ax=ax)
    ax.set_title("{} neighbor(s)".format(n_neighbors))
    ax.set_xlabel("feature 0")
    ax.set_ylabel("feature 1")
axes[0].legend(loc=3)
plt.show()

得到下图
在这里插入图片描述
从左图可以看出，使用单一邻居绘制的决策边界紧跟着训练数据。随着邻居个数越来越多，决策边界也越来越光滑。更平滑的边界对应更简单的模型，换句话说，使用更少的邻居对应更高的模型复杂度，而使用更多的邻居对应更低的模型复杂度。
假如考虑极端情况，即邻居个数等于训练集中所有数据点的个数那么每个测试点的邻居都完全相同，所有预测结果也完全相同

在现实世界的乳腺癌数据集上进行研究

from sklearn.datasets import load_breast_cancer

cancer = load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split(cancer.data, cancer.target, stratify=cancer.target, random_state=66)
trainning_accuracy = []
test_accuracy = []
# n_neighbors取值从1到10
neighbors_setting = range(1, 11)
for n_neighbors in neighbors_setting:
    # 构建模型
    clf = KNeighborsClassifier(n_neighbors=n_neighbors)
    clf.fit(X_train, y_train)
    # 记录训练集精度
    trainning_accuracy.append(clf.score(X_train, y_train))
    # 记录泛化精度
    test_accuracy.append(clf.score(X_test, y_test))

plt.plot(neighbors_setting, trainning_accuracy, label='traing accuracy')
plt.plot(neighbors_setting, test_accuracy, label="test accuray")
plt.ylabel("Accuracy")
plt.xlabel("n_neighbors")
plt.legend()
plt.show()