python机器学习-k近邻（KNN）算法实例（转）

信息安全与项目管理

于 2023-02-23 22:58:16 发布

阅读量207

点赞数

文章标签：机器学习 python 算法

原文链接：https://blog.csdn.net/Arwen_H/article/details/81978432

版权

机器学习-k近邻（KNN）
本篇主要是自己复习和总结机器学习算法中最基础入门的——k近邻（KNN）算法，内容由网上百度与摘抄唐宇迪老师的讲义。

文章目录
k近邻介绍
k近邻参数
官网例子
k近邻实际应用
房租价格预测
k近邻介绍
——K最近邻(k-Nearest Neighbor，KNN)，k近邻算法可以应用于分类场景与回归场景，是一个理论上比较不成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
——用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居），这K个实例的多数属于某个类，就把该输入实例分类到这个类中。

: 看图举例：

图形中有2种已知的图形，分别是蓝色的方块和红色的三角，绿色的未知图形。通过K近邻算法去判断未知的绿色图形是什么，取决于它周围距离最近的图形。
比如把K近邻的近邻参数设置成3(图中实线圆圈)，那么未知的绿色图形就是三角。如果近邻参数设置成5(图中虚线圆圈)，那么未知的绿色图形就是方块。

所以在K近邻算法中，设置近邻参数是会决定最后预测的结果准确性，那么怎么设置参数是多少呢？这个后面会给大家再进行介绍，本篇K近邻算法的实现主要是通过经典的机器学习库（sklearn）来完成。

K近邻在sklearn里面的API为sklearn.neighbors，在该模块下由细分了13个小的模块。本文主要使用neighbors.KNeighborsRegressor基于k-最近邻居的回归来进行说明官方教程链接

类型   描述
neighbors.BallTree   BallTree用于快速广义N点问题
neighbors.DistanceMetric   DistanceMetric类
neighbors.KDTree   KDTree用于快速广义N点问题
neighbors.KernelDensity([bandwidth, …])   核密度估计
neighbors.KNeighborsClassifier([…])   实现k近邻的分类器投票
neighbors.KNeighborsRegressor([n_neighbors, …])   基于k-最近邻居的回归
neighbors.LocalOutlierFactor([n_neighbors, …])   使用局部异常因子（LOF）的无监督异常值检测
neighbors.RadiusNeighborsClassifier([…])   在给定半径内的邻居之间实施投票的分类器
neighbors.RadiusNeighborsRegressor([radius, …])   基于固定半径内的邻居的回归
neighbors.NearestCentroid([metric, …])   最近的质心分类器
neighbors.NearestNeighbors([n_neighbors, …])   用于实现邻居搜索的无监督学习者
neighbors.kneighbors_graph(X, n_neighbors[, …])   计算X中点的k-邻居的（加权）图
neighbors.radius_neighbors_graph(X, radius)   计算X中各点的邻居（加权）图
k近邻参数
sklearn.neighbors.KNeighborsRegressor默认参数：

sklearn.neighbors.KNeighborsRegressor（n_neighbors = 5，weights =‘uniform’，algorithm =‘auto’，leaf_size = 30，p = 2，metric =‘minkowski’，metric_params = None，n_jobs = 1，** kwargs ）

参数说明：
n_neighbors：int, optional (default = 5)

使用默认的邻居数量kneighbors查询，默认是5

weights : str or callable

权函数用于预测,可能的值
‘uniform’ :统一的重量。权重分在每个社区都是一样的
‘distance’ :重量分距离的倒数。在这种情况下,接近邻居查询的点会有一个更大的影响力远比邻居
[callable] :一个用户定义的函数接受一个数组的距离,并返回一个数组包含权重相同的形状

algorithm : {‘auto’, ‘ball_tree’, ‘kd_tree’, ‘brute’}, optional

算法用于计算最近的邻居
‘ball_tree’将使用BallTree
‘kd_tree’将使用KDTree
'brute’将使用蛮力搜索
‘auto’将试图确定最合适的算法基于价值观传递给合适的方法

leaf_size : int, optional (default = 30)

叶大小BallTree或KDTree传递。这可能影响施工和查询的速度,以及所需的内存存储树。最优值取决于问题的性质。

metric : string or callable, default ‘minkowski’

指标用于树的距离。默认度量是闵可夫斯基,p = 2相当于欧几里得度量的标准。看到的DistanceMetric类的文档的列表可用指标。

metric_params : dict, optional (default = None)

额外的关键字参数的度量函数

n_jobs : int, optional (default = 1)

并行工作的数量的邻居搜索。如果1,那么就业人数将CPU核的数量。不影响健康的方法。
————————————————
版权声明：本文为CSDN博主「Arwen_H」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Arwen_H/article/details/81978432