KNN参数设置小实验——基于mglearn人工生成数据集（结果可视化）

最新推荐文章于 2024-09-15 22:31:42 发布

Z pz

最新推荐文章于 2024-09-15 22:31:42 发布

阅读量1k

点赞数 1

分类专栏：机器学习文章标签： python 机器学习

本文链接：https://blog.csdn.net/wenniewennie/article/details/106651529

版权

通过mglearn生成的数据集和sklearn的breast_cancer数据集，探究KNN中K值变化对模型复杂度和泛化能力的影响。实验表明，K值增大导致决策边界平滑，模型复杂度降低，但并不意味着泛化能力一定提高。在cancer数据集中，测试集精度在K=5时最高，且K值增大并未持续提升泛化能力。预处理数据对KNN模型至关重要。

摘要由CSDN通过智能技术生成

KNN的小实验

part 1 K值与模型复杂度关系

采用mglearn包中的make_forge来训练~

不同K值下模型的决策边界平滑度

实验数据集

make_forge数据集

turple类型，是一个二分的数据集，藏着两个array
一个array是（26,2）的X
一个array是（26,1）的y

mglearn可通过加载datasets获取人工生成的数据，也就是前缀带make的，而本文的make_forge就是人工生成的，用于学习KNN的~

我们先导入基本的包！

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import mglearn

import warnings
warnings.filterwarnings('ignore')

#观察数据
X,y = mglearn.datasets.make_forge()
mglearn.discrete_scatter(X[:,0],X[:,1],y) # 作X，y的散点分布图
plt.legend(['Class 0','Class 1'],loc = 4)
plt.xlabel("First feature")
plt.ylabel("Second feature")
print("X.shape: {}".format(X.shape))