python机器学习-k近邻（KNN）算法实例

最新推荐文章于 2023-02-10 19:54:32 发布
VIP文章 最新推荐文章于 2023-02-10 19:54:32 发布
阅读量8.8k 收藏 56
点赞数 10
分类专栏： python—数据分析 学习python数据分析 文章标签： K近邻 机器学习 案例 KNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Arwen_H/article/details/81978432
版权

机器学习-k近邻（KNN）
本篇主要是自己复习和总结机器学习算法中最基础入门的——k近邻（KNN）算法，内容由网上百度与摘抄唐宇迪老师的讲义。

文章目录

k近邻介绍

——K最近邻(k-Nearest Neighbor，KNN)，k近邻算法可以应用于分类场景与回归场景，是一个理论上比较不成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
——用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居）， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。

: 看图举例：
这里写图片描述
图形中有2种已知的图形，分别是蓝色的方块和红色的三角，绿色的未知图形。通过K近邻算法去判断未知的绿色图形是什么，取决于它周围距离最近的图形。
比如把K近邻的近邻参数设置成3(图中实线圆圈)，那么未知的绿色图形就是三角。如果近邻参数设置成5(图中虚线圆圈)，那么未知的绿色图形就是方块。

所以在K近邻算法中，设置近邻参数是会决定最后预测的结果准确性，那么怎么设置参数是多少呢？这个后面会给大家再进行介绍，本篇K近邻算法的实现主要是通过经典的机器学习库（sklearn）来完成。

K近邻在sklearn里面的API为sklearn.neighbors，在该模块下由细分了13个小的模块。本文主要使用neighbors.KNeighborsRegressor基于k-最近邻居的回归来进行说明官方教程链接

类型 描述
neighbors.BallTree BallTree用于快速广义N点问题
neighbors.DistanceMetric DistanceMetric类
neighbors.KDTree KDTree用于快速广义N点问题
neighbors.KernelDensity([bandwidth, …]) 核密度估计
neighbors.KNeighborsClassifier([…]) 实现k近邻的分类器投票
neighbors.KNeighborsRegressor([n_neighbors, …]) 基于k-最近邻居的回归
neighbors.LocalOutlierFactor([n_neighbors, …]) 使用局部异常因子（LOF）的无监督异常值检测
neighbors.RadiusNeighborsClassifier([…]) 在给定半径内的邻居之间实施投票的分类器
neighbors.RadiusNeighborsRegressor([radius, …]) 基于固定半径内的邻居的回归
neighbors.NearestCentroid([metric, …]) 最近的质心分类器
neighbors.NearestNeighbors([n_neighbors, …]) 用于实现邻居搜索的无监督学习者
neighbors.kneighbors_graph(X, n_neighbors[, …]) 计算X中点的k-邻居的（加权）图
neighbors.radius_neighbors_graph(X, radius) 计算X中各点的邻居（加权）图

k近邻参数

sklearn.neighbors.KNeighborsRegressor默认参数：

sklearn.neighbors.KNeighborsRegressor（n_neighbors = 5，weights =‘uniform’，algorithm =‘auto’，leaf_size = 30，p = 2，metric

最低0.47元/天 解锁文章
Arwen_H
关注
  • 10
    点赞
  • 踩
  • 56
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
K-近邻算法
11-07
人工智能 机器学习KNN算法 基于python, 测试集看 http://download.csdn.net/download/yy761845/10107190
k最近邻算法——电影分类及案例详解
最新发布
ZhShy
06-12 1901
如图3-7所示，若将国际象棋棋盘放在二维直角坐标系中，格子的边长定义为1，坐标的x轴及y轴和棋盘方格平行，原点恰落在某一格的中心点，则王从一个位置走到其他位置需要的步数恰为二个位置的切比雪夫距离，因此切比雪夫距离也称为棋盘距离。关于这里的距离度量，这个电影分类的例子有2个特征，也就是2维的，可以使用我们高中学过的两点距离公式（两点距离公式其实就是欧氏距离在二维空间上的公式，也就是欧氏距离n的值为2的情况，欧氏距离也称为欧几里德距离）来计算距离，如图3-3所示。对数据进行归一化，避免量纲对计算距离的影响。
机器学习之K-means原理详解、公式推导、简单实例（python实现，sklearn调包）
如果没有躺赢的命，那就站起来奔跑，你的努力一定会对得起这一路的颠沛流离。
02-10 3227
主要内容分为理论推导和代码实现两个部分。 理论推导包括聚类介绍、常见距离介绍、KMeans算法模拟三块。 代码实现包括逻辑回归代码实现；python实现和sklearn包 2种方法完成Kmeans聚类任务。
【机器学习】一文搞懂K近邻算法(KNN)，附带多个实现案例
Daycym的博客
11-24 6617
一、KNN回顾 kkk近邻算法 kkk 近邻学习是一种常用的监督学习方法，比如：判断一个人的人品，只需要观察与他来往最密切的几个人的人品好坏就可以得出，即“近朱者赤，近墨者黑”。 理论/原理：“物以类聚，人以群分” 相同/近似样本在样本空间中是比较接近的，所以可以使用和当前样本比较近的其他样本的目标属性值作为当前样本的预测值。 kkk 近邻法的工作机制很简单： 给定测试样本，基于某种距离度...
KNN算法简介及其python实现
m0_73816372的博客
10-24 1261
KNN算法简介及其python实现
knn(k近邻算法)——python
PY洋洋
01-30 2万+
1. 基本定义 2. 算法原理 2.1 算法优缺点 2.2 算法参数 2.3 变种 3.算法中的距离公式 4.案例实现 4.1 导入相关库 4.2 读取数据 4.3 读取变量名 4.4 定义X,Y数据 4.5 分离训练集和测试集 4.6 计算欧式距离 4.7可视化距离矩阵 4.8 预测样本 4.9 查看正确率 4.10 交叉验证 5.scikit-learn的算法实现 5.1 对上述的再次实现： 5.2 另一种实现方式
Python Knn算法详解（近邻算法）
qq_42448606的博客
11-04 4508
KNN一、算法简述二、运行原理2.1、算法核心思想2.2、距离计算2.3、K值选择三、算法实现3.1、Sklearn KNN参数概述3.2、 KNN代码实例四、算法特点五、算法优缺点六、KNN 和 K-means比较 一、算法简述 KNN 可以说是最简单的分类算法之一，同时，它也是最常用的分类算法之一。注意：KNN 算法是有监督学习中的分类算法，它看起来和另一个机器学习算法 K-means 有点像（K-means 是无监督学习算法），但却是有本质区别的。 二、运行原理 2.1、算法核心思想 KNN 的全称是
Python实现KNN算法
qq_44267598的博客
10-08 1944
** 一．KNN算法介绍 ** K最近邻(k-Nearest Neighbor，KNN)分类算法，是机器学习算法之一。 该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。 KNN算法用于分类和回归。 ** 二．KNN算法原理 ** 存在一个样本数据集合，即训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每...
分类算法KNN的python实现
辉的博客
12-28 3880
KNN算法是有监督学习中的分类算法，它是一种非参的，惰性的算法模型。非参的意思并不是说这个算法不需要参数，而是意味着这个模型不会对数据做出任何的假设，与之相对的是线性回归（我们总会假设线性回归是一条直线）。也就是说KNN建立的模型结构是根据数据来决定的，这也比较符合现实的情况，毕竟在现实中的情况往往与理论上的假设是不相符的。惰性的意思是指模型在使用前不会被训练，只有当使用的时候才会被训练。KNN算法优点： 简单易用，相比其他算法，KNN算是比较简洁明了的算法。即使没有很高的数学基础也能搞清楚它的原理。
机器学习——K-近邻算法实例实战
DreamWendy的博客
10-10 5768
一、使用k近邻算法改进约会网站的配对效果 1.1 实例分析 我的朋友海伦一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的 人选，但她没有从中找到喜欢的人。经过一番总结，她发现曾交往过三种类型的人： 不喜欢的人 魅力一般的人 极其魅力的人 尽管发现了上述规律，但海伦依然无法将约会网站推荐的匹配对象归入恰当的分类。她觉得可以在周一到周五约会那些魅力一般的人，而周末更喜欢与那些极具魅力的人为伴。海伦希望我们的分类软件可以更好地帮助她将匹配对象划分到确切...
python机器学习-k近邻（KNN）算法实例-附件资源
03-05
python机器学习-k近邻（KNN）算法实例-附件资源
Python机器学习k-近邻算法(K Nearest Neighbor)实例详解
12-25
本文实例讲述了Python机器学习k-近邻算法。分享给大家供大家参考，具体如下： 工作原理 存在一份训练样本集，并且每个样本都有属于自己的标签，即我们知道每个样本集中所属于的类别。输入没有标签的新数据后，将新...
PYTHON机器学习——KNN（k近邻算法）
12-22
PYTHON机器学习——KNN（k近邻算法） 代码实现 首先，导入需要用到的包 import numpy as np import matplotlib.pyplot as plt 初始化模拟数据集和对应的分类 data_x=[[1.15,2.34], [1.55,2.47], [3.78,4.98], ...
《机器学习》算法实例-KNN算法-海伦约会案例
11-24
训练算法: 此步骤不适用于 k-近邻算法 测试算法: 使用海伦提供的部分数据作为测试样本。 使用算法: 产生简单的命令行程序，然后海伦可以输入一些特征数据以判断对方是否为自己喜欢的类型。 【注】本实例对于每步都...
python:matplotlib 箱线图(boxplot)参数及分析详解
热门推荐
黄俊文的博客
12-06 5万+
python画箱线图boxplot目的是为了方面通过图的形式查看数据分散情况。用matplotlib画箱线图很简单，但是我们更重要的是怎么去看箱线图。 文章目录箱线图统计学知识matplotlib画图箱线图 箱线图统计学知识 上限值：Q1-1.5×IQR 上相邻值：距离上限值最近的值 须线：上下分位数各自与上下相邻值的距离 上四分位数（Q1)：一组数据按顺序排列，从小至大第25%位置的数值 中位数...
python机器学习-线性回归(LinearRegression)算法
黄俊文的博客
08-30 4万+
用python进行线性回归分析非常方便，如果看代码长度你会发现真的太简单。但是要灵活运用就需要很清楚的知道线性回归原理及应用场景。现在我来总结一下用python来做线性回归的思路及原理。 线性回归应用场景 线性回归介绍 机器学习中的线性回归 简单的线性回顾实例 线性回归应用场景 线性回归介绍 ——线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系...
python数据分析——数据查看与选取(一)
黄俊文的博客
08-08 4万+
前面已经讲了如何用pandas导入数据，这篇文章就来讲一些常用的数据查看、数据选取。做到了这一步，就可以进行一些快速的描述性分析了！ 要查看数据与选取数据，我们首先得了解python里数据存储的方式，然后才能进行数据查看、数据选择、数据清洗、数据分析、数据建模等。。 所以本文将分为： 数据结构 常用查看/选择数据函数 函数代码案例 （本文会结合大家常用的excel和sql的思维模式来讲解...
机器学习python决策树（tree.DecisionTreeRegressor）算法实例
黄俊文的博客
09-06 2万+
本文python决策树使用sklearn.tree.DecisionTreeRegressor模型来进行总结。首先我们要了解python机器学习中决策树用来做什么的，然后清楚的知道算法原理，最后才能将决策树算法应用到实际场景当中。 决策树，就是一种把决策节点画成树的辅助决策工具，一种寻找最优方案的画图法。画决策树有三步：第一步，写出你想要实现的目标；第二步，在目标的右侧写出实现这个目标的所有方案...
python之matplotlib.pyplot直方图
黄俊文的博客
08-23 2万+
matplotlib.pyplot直方图画起来还是分成方便的，思路还是准备好数据，然后设置参数即可。反正画直方图比折线图在EXCEL上方便太多了。 直方图介绍 直方图参数说明 官网案例 实际案例 直方图介绍 直方图(Histogram)又称质量分布图。是一种统计报告图，由一系列高度不等的纵向条纹或线段表示数据分布的情况。 一般用横轴表示数据类型，纵轴表示分布情况。 直方图是数值...
器学习——K近邻算法及乳腺癌检测分类python
05-04
K近邻算法是一种简单易用的机器学习算法，它可以用于分类和回归问题。在分类问题中，K近邻算法通过计算待分类样本与训练集中每个样本的距离，找到距离待分类样本最近的K个样本，然后根据这K个样本的类别进行投票，将待分类样本归为票数最多的类别。在回归问题中，K近邻算法通过计算待预测样本与训练集中每个样本的距离，找到距离待预测样本最近的K个样本，然后根据这K个样本的值进行加权平均，得到待预测样本的预测值。 下面是一个使用K近邻算法进行乳腺癌检测分类的示例代码： ```python import pandas as pd from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score # 读取数据集 data = pd.read_csv("breast_cancer.csv") # 将类别变量转换为数值变量 data['diagnosis'] = data['diagnosis'].map({'M': 1, 'B': 0}) # 将特征变量和类别变量分开 X = data.drop(['diagnosis'], axis=1) y = data['diagnosis'] # 将数据集分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0) # 创建K近邻分类器 knn = KNeighborsClassifier(n_neighbors=5) # 训练K近邻分类器 knn.fit(X_train, y_train) # 在测试集上进行预测 y_pred = knn.predict(X_test) # 计算预测准确率 accuracy = accuracy_score(y_test, y_pred) print("预测准确率：", accuracy) ``` 上述代码使用了sklearn库中的KNeighborsClassifier类来创建K近邻分类器，并使用accuracy_score函数计算预测准确率。需要注意的是，K近邻算法对数据的缩放敏感，因此在使用K近邻算法之前，通常需要对数据进行缩放处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值