机器学习系列03——K近邻算法（KNN）

最新推荐文章于 2022-11-06 14:15:47 发布
最新推荐文章于 2022-11-06 14:15:47 发布
阅读量2.8k 收藏 19
点赞数 6
分类专栏： 机器学习系列 文章标签： KNN算法 K近邻 距离度量 KNN应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jonsen_hb/article/details/50644516
版权

机器学习系列03——K近邻算法（KNN）

  【前言】上一篇文章写到了机器学习中的一些基础概念，不是特别细致，可能看了之后印象也不是太深刻，不过后面接着写的种种算法会不停的提到相关概念，大家跟着看，慢慢的就都熟悉了，今天大年初一，先给大家拜个年了！祝大家新年快乐！

1、摘要

       KNN算法是机器学习中常用的分类算法，该算法思想简单，非常容易入门，本文从KNN的基本思想开始文章书写，接着以一个简单的例子引入KNN算法，中间重点讲解了KNN的三要素（掌握了KNN的三要素基本上就能对KNN算法有一个最基本的把握，面试也能扯一扯），然后对KNN的三要素做了较详细的讲解，最后给出了KNN算法常见的一些应用。

2、KNN的基本思想

        KNN的基本思想并不复杂，这里一句话简单的说明：K近邻算法:  给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻  近的K个实例， 这K个实例中哪个类别所占的个数多，就把该输入实例划分到这个类中。

3、引入

        如下图所示，有两类不同的训练样本数据，分别用蓝色的小正方形和红色的小三角形表示，而图正中间的那个绿色的圆所标示的数据则是待分类的数据。

        衡量待分类样本的周围的k个邻居的类别，k个邻居中哪个类别较多，就把该类别判给待分类样本。（K近邻思想）
         【注意】：当然K不同，待分类样本被判别的类别也可能不同。

4、K近邻模型三要素

4.1、距离度量（要素之一）

        K近邻算法的核心在于找到实例点的邻居。要找邻居就要度量相似性。估量不同样本之间的相似性，通常采用的方法就是计算样本间的“距离”，相似性度量方法有：欧式距离、余弦夹角、曼哈顿距离、切比雪夫距离等。
        K近邻中距离的度量有多种方法，下面主要讲前三种常用的方法，其他的计算方法读者自行学习。
4.1.1、欧式距离

欧式距离来源于欧式空间中的两点之间的距离公式。

二维平面上的两点：

4.1.2、曼哈顿距离
4.1.3、切比雪夫距离
4.1.4、余弦距离

4.2、K值选择（要素之二，重要）

若k值较小，只有与输入实例较近（相似）的训练实例才会对预测结果起作用，预测结果会对近邻实例点非常敏感。如果近邻实例点恰巧是噪声，预测就会出错。容易发生过拟合。

若k较大，与输入实例较远的（不相似的）训练实例也会对预测起作用，容易使预测出错。k值的增大就意味着整体的模型变简单。

在应用中，k值一般取较小值。通常通过经验或交叉验证法来选取最优的k值。

4.3、分类决策规则（要素之三，重要）

4.3.1、投票表决
少数服从多数，输入实例的k个近邻中哪个类的实例点最多，就分为该类。
4.3.2、加权投票法（优化）
根据距离的远近，对K个近邻的投票进行加权，距离越近则权重越大（比如权重为距离的倒数）。

5、KNN实现过程

（1）计算当前待分类实例与训练数据集中的每个样本实例的距离；

（2）按照距离递增次序排序；

（3）选取与待分类实例距离最小的k个训练实例；

（4）统计这k个实例所属各个类别数；

（5）将统计的类别数最多的类别作为待分类的预测类别

6、KNN的常见应用

  • 数据归类
  • 预测
  • 插值、平滑曲线

7、结束语

        本次文章主要讲了下KNN算法，其应用有一篇博文写的很好，也举了例子，这里给出链接KNN的常见应用。在这里对该博主表示感谢。


jonsen_hb
关注
专栏目录
机器学习算法 —— K近邻（KNN分类）
ZShiJ的博客
06-18 233
k近邻方法是一种惰性学习算法，可以用于回归和分类，它的主要思想是投票机制，对于一个测试实例x, 我们在有标签的训练数据集上找到和最相近的k个数据，用他们的label进行投票，分类问题则进行表决投票，回归问题使用加权平均或者直接平均的方法。knn算法中我们最需要关注两个问题：k值的选择和距离的计算。kNN中的k是一个超参数，需要我们进行指定，一般情况下这个k和数据有很大关系，都是交叉验证进行选择，但是建议使用交叉验证的时候，k∈[2,20]，使用交叉验证得到一个很好的k值。
机器学习算法 —— K近邻（KNN回归）
最新发布
ZShiJ的博客
06-18 123
k近邻方法是一种惰性学习算法，可以用于回归和分类，它的主要思想是投票机制，对于一个测试实例x, 我们在有标签的训练数据集上找到和最相近的k个数据，用他们的label进行投票，分类问题则进行表决投票，回归问题使用加权平均或者直接平均的方法。knn算法中我们最需要关注两个问题：k值的选择和距离的计算。kNN中的k是一个超参数，需要我们进行指定，一般情况下这个k和数据有很大关系，都是交叉验证进行选择，但是建议使用交叉验证的时候，k∈[2,20]，使用交叉验证得到一个很好的k值。
KNN知识点梳理
想锻炼但总是休息的博客
08-30 460
KNN(K-nearest neighbors) 既可用于分类，也可用于回归。 分类预测时，多数表决法，取决于与预测的样本距离最近的k个样本的特征，少数服从多数。 回归时，平均法，将与预测样本距离最近的k个样本的特征进行平均。 KNN算法三要素 k值的选取、距离度量方式和分类决策规则 算法一：暴力算法 计算所有样本与预测样本之间的距离，选取其中距离最小的k个，用于分类或回归。 算法二：...
机器学习（3）-- KNN算法
ocean11的博客
06-25 252
KNN算法 KNN算法是一种常见的分类算法，其名称来源于 k Nearest neighbors，该算法基本思想为，对于一个分类问题，新的数据的类别应该和离他最近的已知数据点的类别相同。 KNN算法不同于常见的统计算法。是一种懒惰算法。在没有 预测行为时，不会做任何计算。 KNN算法的主要工作为遍历已知数据点和选取合适的距离度量方式。因此可以根据度量方式对数据集做预处理加快预测速度。 算法流程...
KNN算法的实现 ，假设Ｋ＝４
dangyajuan的专栏
12-25 617
#include #include #include #include    #include using namespace std; //结构体数组 struct structdis { //保存待测花朵到所有样本数据的距离  double distance ; //花朵所在的类别  string classfic ;  }; //比较K个节
机器学习(四) 分类算法--K近邻算法 KNN (上)
侠道
08-25 286
一、K近邻算法基础 KNN------- K近邻算法--------K-Nearest Neighbors 思想极度简单 应用数学知识少 （近乎为零） 效果好（缺点？） 可以解释机器学习算法使用过程中很多细节问题 更完整的刻画机器学习应用的流程 import numpy as np import matplotlib.pyplot as plt 实现我们自己的 ...
机器学习实战之k近邻算法
蜗牛遥遥
02-26 315
k近邻算法： 求两者的距离：即测试集和每个有标签的训练集求距离，将训练集得出的距离排序，取前面k个，那k个中哪个标签序列最多，就划分为那一类。 比如： 训练集是二维数组[1.0,1.1],[1.0,1.0],[0.1,0],[0,0.1] 标签 labels=[‘A’,‘A’,‘B’,‘B’] 测试集[0.2,0.1] k=3 首先计算测试集和训练集之间的距离 点[0.2,0.1]与[1...
PYTHON机器学习——KNN（k近邻算法）
12-22
PYTHON机器学习——KNN（k近邻算法） 代码实现 首先，导入需要用到的包 import numpy as np import matplotlib.pyplot as plt 初始化模拟数据集和对应的分类 data_x=[[1.15,2.34], [1.55,2.47], [3.78,4.98], ...
机器学习算法KNN（K近邻）应用实例——实现对是否患糖尿病的预测
05-06
机器学习算法KNN（K近邻）应用实例 使用KNN（K近邻）算法对是否容易得糖尿病问题进行预测。 资源中包括完成的KNN算法训练和实现过程，以及用于机器学习的糖尿病数据集。 数据特征包括： Pregnancies：怀孕次数 ...
机器学习——k近邻算法（kNN）
m0_54376774的博客
11-06 802
机器学习——k近邻算法介绍以及代码实现
机器学习-K近邻算法（KNN）
burpee的博客
04-11 925
一.基本思想K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。如下面的图：  通俗一点来说，就是找最“邻近”的伙伴，通过这些伙伴的类别来看自己的类别。比如以性格和做过的事情为判断特征，和你最邻近的10个人中（这里暂且设k=10），有8个是医生，有2个是强盗。那么你是医生的可能性更加大，就把你划到...
k近邻法——kNN分类
As的博客
03-24 595
模型原型 sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,weights=’uniform’,algorithm=’auto’,leaf_size=30,p=2, metric=’minkowski’,metric_params=None,n_jobs=1,**kwargs) 参数 n_neighbors:k值 weights:投票...
kNN算法
test
10-19 405
程序引用《机器学习实战》 用python实现kNN算法，题中假设把目标分为A类和B类，在前3中统计出与A类最近的点 from numpy import * import operator def createDataSet(): group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels=['A','A','B','B'] prin
《机器学习实战》—— KNN(K近邻算法)
林夕
02-06 1235
《机器学习实战》可以说是学习ML的必备书籍，连载本书中的重点算法。重点在算法和思想，避免涉及数学和理论推导。 由于现在已经有现成的库，不管是Sklearn还是keras，所以算法基本不需要我们自己去写，调用库就可以，但是必须要知道如何要去调参，也就是每个算法涉及到的参数，如何调整，能效果更好。 1.基本概念： k近邻作为监督学习的入门算法，是数据分析不可缺少的一部分。 适用情况：对于一...
李航-统计学习方法-笔记-3：KNN
weixin_30532987的博客
06-05 154
KNN算法 基本模型：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例。这k个实例的多数属于某个类，就把输入实例分为这个类。 KNN没有显式的学习过程。 KNN使用的模型实际上对应于特征空间的划分。特征空间中，对每个训练实例点\(x_i\)，距离该点比其它点更近的所有点组成一个区域，叫作单元（cell）。每个训练实例拥有一个单元。所有的训练实例点的单元构成对特征空间的...
机器学习--KNN算法基本思想
qq_33531400的博客
10-13 4976
KNN算法--K近邻算法（K-Nearest Neighbors） 如下图所示，用肿瘤的大小表示横坐标，时间表示中坐标，其中红色表示良性肿瘤，蓝色表示恶性肿瘤。 根据下图能够得到8个点的初始信息。 假如此时出现了第9个点，它的落点在第7个点和第8个点之间，怎么判断它的属性是良性还是恶性呢？ 在KNN的算法中，首先确定K的值，经典的K值为3，在这里K= 3，表示寻找与第9个点最近的三个点。...
K-近邻算法（KNN)
热门推荐
Running Snail
03-25 6万+
​ K近邻（K-Nearest Neighbor, KNN）是一种最经典和最简单的*有监督学习*方法之一
KNN 原理及参数总结
平凡简单的执着
01-31 2万+
前言：针对一个完整的机器学习框架目前还没有总结出来，所以目前只能总结每一个单独的算法。由于现在研究的重点是算法，所以对于数据的处理，数据的分析和可视化呈现，在现阶段并不进行展示（这样容易陷入纠结和浪费过多时间）。但是，当理解算法的基本原理和实现方法之后，再回过头来从头开始，实现一个完整的机器学习流程。 1. KNN 原理 KNN是一种即可用于分类又可用于回归的机器学习算法。对于给定测试样本，基于距...
K近邻（KNN）算法面试问题汇总
longshaonihaoa的博客
05-26 2798
自己救自己系列，不然要没工作了，我太难了。 我只是个木得感情的搬运机器，以下内容都附有原链接地址，你不想我搬运的话，可以联系我删除好勒。 红色加粗是我见了好多次，感觉经常会考得点。 感觉KNN的面试问题偏少，这里列几个我网上有印象的 1、KNN原理 2、KNN优缺点 3、KNN与K-means的区别 4、欧式距离与曼哈顿距离区别 答案详见这位大佬的整理https://blog.csdn.net/A_102/article/details/88948326 5、KNN三要...
器学习——K近邻算法及乳腺癌检测分类python
05-04
K近邻算法是一种简单易用的机器学习算法，它可以用于分类和回归问题。在分类问题中，K近邻算法通过计算待分类样本与训练集中每个样本的距离，找到距离待分类样本最近的K个样本，然后根据这K个样本的类别进行投票，将待分类样本归为票数最多的类别。在回归问题中，K近邻算法通过计算待预测样本与训练集中每个样本的距离，找到距离待预测样本最近的K个样本，然后根据这K个样本的值进行加权平均，得到待预测样本的预测值。 下面是一个使用K近邻算法进行乳腺癌检测分类的示例代码： ```python import pandas as pd from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score # 读取数据集 data = pd.read_csv("breast_cancer.csv") # 将类别变量转换为数值变量 data['diagnosis'] = data['diagnosis'].map({'M': 1, 'B': 0}) # 将特征变量和类别变量分开 X = data.drop(['diagnosis'], axis=1) y = data['diagnosis'] # 将数据集分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0) # 创建K近邻分类器 knn = KNeighborsClassifier(n_neighbors=5) # 训练K近邻分类器 knn.fit(X_train, y_train) # 在测试集上进行预测 y_pred = knn.predict(X_test) # 计算预测准确率 accuracy = accuracy_score(y_test, y_pred) print("预测准确率：", accuracy) ``` 上述代码使用了sklearn库中的KNeighborsClassifier类来创建K近邻分类器，并使用accuracy_score函数计算预测准确率。需要注意的是，K近邻算法对数据的缩放敏感，因此在使用K近邻算法之前，通常需要对数据进行缩放处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值