【机器学习】分类算法 - KNN算法（K-近邻算法）KNeighborsClassifier

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注软件测试）

正文

• 邻居个数「太多」，容易受到样本不均衡的影响。

2、K-近邻算法API

sklearn.neighbors.KNeighborsClassifier( n_neighbors=5, algorithm=‘auto’ ) 是实现K-近邻算法的API

• n_neighbors：（可选，int）指定邻居（K）数量，默认值 5
• algorithm：（可选，{ ‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}）计算最近邻居的算法，默认值 ‘auto’。

算法解析

• brute：蛮力搜索，也就是线性扫描，训练集越大，消耗的时间越多。
• kd_tree：构造kd树（也就是二叉树）存储数据以便对其进行快速检索，以中值切分构造的树，每个结点是一个超矩形，在维数小于20时效率高
• ball_tree：用来解决kd树高维失效的问题，以质心C和半径r分割样本空间，每个节点是一个超球体。
• auto：自动决定最合适的算法

函数

• KNeighborsClassifier.fit( x_train, y_train)：接收训练集特征 和 训练集目标
• KNeighborsClassifier.predict(x_test)：接收测试集特征，返回数据的类标签。
• KNeighborsClassifier.score(x_test, y_test)：接收测试集特征 和 测试集目标，返回准确率。
• KNeighborsClassifier.get_params()：获取接收的参数（就是 n_neighbors 和 algorithm 这种参数）
• KNeighborsClassifier.set_params()：设置参数
• KNeighborsClassifier.kneighbors()：返回每个相邻点的索引和距离
• KNeighborsClassifier.kneighbors_graph()：返回每个相邻点的权重

3、K-近邻算法实际应用

3.1、获取数据集

这里使用sklearn自带的鸢尾花「数据集」，它是分类最常用的分类试验数据集。

from sklearn import datasets

1、获取数据集（实例化）

iris = datasets.load_iris()

print(iris.data)

输出：

[[5.1 3.5 1.4 0.2]
[4.9 3. 1.4 0.2]
[4.7 3.2 1.3 0.2]

从打印的数据集可以看到，鸢尾花数据集有4个「属性」，这里解释一下属性的含义

• sepal length：萼片长度（厘米）
• sepal width：萼片宽度（厘米）
• petal length：花瓣长度（厘米）
• petal width：花瓣宽度（厘米）

3.2、划分数据集

接下来对鸢尾花的特征值（iris.data）和目标值（iris.target）进行「划分」，测试集为60%，训练集为40%。

from sklearn import datasets
from sklearn import model_selection

1、获取数据集

iris = datasets.load_iris()

2、划分数据集

x_train, x_test, y_train, y_test = model_selection.train_test_split(iris.data, iris.target, random_state=6)
print(‘训练集特征值：’, len(x_train))
print(‘测试集特征值：’,len(x_test))
print(‘训练集目标值：’,len(y_train))
print(‘测试集目标值：’,len(y_test))

输出：

训练集特征值： 112
测试集特征值： 38
训练集目标值： 112
测试集目标值： 38

从打印结果可以看到，测试集的样本数是38，训练集的样本数是112，划分比例符合预期。

3.3、特征标准化

接下来，对训练集和测试集的特征值进行「标准化」处理（训练集和测试集所做的处理必须完全「相同」）。

from sklearn import datasets
from sklearn import model_selection
from sklearn import preprocessing

1、获取数据集

iris = datasets.load_iris()

2、划分数据集

x_train：训练集特征，x_test：测试集特征，y_train：训练集目标，y_test：测试集目标

x_train, x_test, y_train, y_test = model_selection.train_test_split(iris.data, iris.target, random_state=6)

3、特征标准化

ss = preprocessing.StandardScaler()
x_train = ss.fit_transform(x_train)
x_test = ss.fit_transform(x_test)
print(x_train)

输出：

[[-0.18295405 -0.192639 0.25280554 -0.00578113]
[-1.02176094 0.51091214 -1.32647368 -1.30075363]
[-0.90193138 0.97994624 -1.32647368 -1.17125638]

从打印结果可以看到，特征值发生了相应的变化。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）**
[外链图片转存中…(img-6GbImBYn-1713442364191)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！