python 机器学习（二）分类算法-k近邻算法

最新推荐文章于 2024-07-03 11:24:00 发布

王小鹏的随笔

最新推荐文章于 2024-07-03 11:24:00 发布

阅读量1.9k

点赞数 1

分类专栏： python 机器学习文章标签： python 机器学习算法

本文链接：https://blog.csdn.net/weixin_42438712/article/details/104210115

版权

本文深入探讨了K近邻算法，包括其定义、来源和距离计算公式。通过sk-learn库展示了算法的实现，用具体案例解释了数据处理和分类预测过程。同时，文章分析了KNN算法的优缺点，指出其适用于小数据场景，并讨论了模型评估方法如准确率、混淆矩阵和F1-score。

摘要由CSDN通过智能技术生成

分类算法-K近邻算法
同步更新在个人网站：http://www.wangpengcufe.com/machinelearning/pythonml-pythonml2/

一、什么是K近邻算法？

定义:

如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。

来源:

KNN算法最早是由Cover和Hart提出的一种分类算法.

计算距离公式:

两个样本的距离可以通过如下公式计算，又叫欧式距离。
比如说，a(a1,a2,a3),b(b1,b2,b3)

二、K近邻算法的实现

sk-learn近邻算法API

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
n_neighbors：int,可选（默认= 5），k_neighbors查询默认使用的邻居数 
algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’将会使用 BallTree，‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)