机器学习之K近邻算法原理+应用实例

最新推荐文章于 2024-07-02 18:14:50 发布
最新推荐文章于 2024-07-02 18:14:50 发布
阅读量1.7k 收藏 14
点赞数 1
分类专栏： 机器学习 python 文章标签： 1024程序员节 机器学习 近邻算法 分类 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46297583/article/details/120935579
版权
K近邻（K-Nearest Neighbor，KNN）是一种简单但有效的机器学习算法，用于分类任务。它基于样本的特征距离进行分类，选择最近的K个样本进行投票决定新样本的类别。KNN算法涉及关键步骤，包括计算距离、选择K值、处理不平衡数据和特征缩放。在Python中，可以使用scikit-learn库轻松实现KNN。
摘要由CSDN通过智能技术生成

1. 基本原理
K最近邻(K-Nearest Neighbor，KNN)分类算法是最简单的机器学习算法之一，其基本思路与“近朱者赤，近墨者黑”的原理类似，当对未分类样本进行分类时，首先判断其与已分类样本之间的特征相似度，然后将其划分到大多数已分类样本所属类别之中。
已知训练样本集中每个样本对应的类别，当对新样本进行分类时，首先将新样本的特征与训练样本集中的样本特征进行比较，进而提取K个与其最相似（即在特征空间中最邻近）的已知类别的样本，然后将K个已知类别样本中包含样本数最多的类别标识分配给新样本。

2. 求解步骤
（1）计算新样本与所有已分类样本之间的特征距离（距离类型可为欧氏距离、曼哈顿距离等）；
（2）按照递增次序对特征距离进行排序；
（3）选择K个特征距离最相近的已分类样本（值一般选择为奇数）。
（4）确定K个已分类样本所属类别出现的次数（投票法）。
（5）将K个已分类样本所属类别出现频率最高的类别作为新样本的预测分类。

对于k值的选择，是knn算法的重中之重
在这里插入图片描述
如图所示，如果k=3，圆球属于红色所示类别；而当k=5时圆球则属于蓝色所示类别。

3. 易出现的问题

最低0.47元/天 解锁文章
weixin_46297583
关注
专栏目录
机器学习———K近邻算法实例
fishsmans的博客
10-10 670
K-近邻算法之约会网站配对及手写识别系统 一、约会网站配对 1.1案例分析 我的朋友海伦一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的人选，但她没有从中找到喜欢的人。经过一番总结，她发现曾交往过三种类型的人： □ 不喜欢的人 □ 魅力一般的人 □ 极具魅力的人 海伦收集了自己的一些约会记录的数据信息。每个样本数据占据一行，总共有1000行。 数据文件 datingTestSet2.txt 海伦的样本数据局主要包含以下3种特征： □ 每年获得的飞行常客里程数 □ 玩视频游戏所耗时间百分比
【机器学习实战 Task1】 （KNN）k近邻算法的应用
202xxx的博客
09-20 8469
1 背景 1.1 k近邻算法的概述 （1）k近邻算法的简介 k-近邻算法是属于一个非常有效且易于掌握的机器学习算法，简单的说就是采用测量不同特征值之间距离的方法对数据进行分类的一个算法。 （2）k近邻算法的工作原理 给定一个样本的集合，这里称为训练集，并且样本中每个数据都包含标签。对于新输入的一个不包含标签的数据，通过计算这个新的数据与每一个样本之间的距离，选取前k个，通常k小于20，以k个剧里最近的数据的标签中出现次数最多的标签作为该新加入的数据标签。 （3）k近邻算法的案例 当前统计了6部
k-近邻算法实例
weixin_33881050的博客
11-07 242
阅读目录 1. 简单例子 回到顶部 1. 简单例子 步骤 1.1 计算已知点和被求点的距离 1.2 按距离递增排序 1.3 求出距离最近的前k个点的类别最大值作为目标分类 from numpy import * import operator def createDateSet(): group = array([[1.0,1.1]...
机器学习：KNN（K-近邻）算法原理的介绍及应用场景
最新发布
rubyw的博客
07-02 524
K近邻算法（K-Nearest Neighbors，KNN）是一种基本且直观的监督学习算法，用于分类和回归任务。其基本思想是基于特征空间中的距离度量，在训练集中找到与新样本最近的K个邻居，然后通过这些邻居的标签来决定新样本的类别或者值。
K近邻算法以及应用
zz_zss的博客
08-09 1755
K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：在特征空间中，如果一个样本附近的k个最近(即特征空间中最邻近)样本的大多数属于某一个类别，则该样本也属于这个类别。 缺点： 懒惰算法，当测试样本计算时的分类较大，内存开销大，必须选择k值，当k值选择不当则分类精度不能保证，容易受k值的影响 ，k值取很小 ，容易受异常点的影响，k值取很大，容易受k值数量波动。 优点： 简单 易于理解 易于实现 无需估计参数 无需训练
机器学习——K-近邻算法实例实战
DreamWendy的博客
10-10 6211
一、使用k近邻算法改进约会网站的配对效果 1.1 实例分析 我的朋友海伦一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的 人选，但她没有从中找到喜欢的人。经过一番总结，她发现曾交往过三种类型的人： 不喜欢的人 魅力一般的人 极其魅力的人 尽管发现了上述规律，但海伦依然无法将约会网站推荐的匹配对象归入恰当的分类。她觉得可以在周一到周五约会那些魅力一般的人，而周末更喜欢与那些极具魅力的人为伴。海伦希望我们的分类软件可以更好地帮助她将匹配对象划分到确切...
Python机器学习k-近邻算法(K Nearest Neighbor)实例详解
09-20
K-近邻算法（K Nearest Neighbor，KNN）是一种基本分类与回归方法。在机器学习领域，KNN算法的核心思想是通过测量不同特征值之间的距离来进行分类。基于输入样本与样本集中已知类别的样本之间的距离，将其归类于最近...
机器学习实验（k-近邻算法+模型评估）
m0_73160249的博客
04-02 1050
KNN（k-近邻算法）是一种基于实例的学习，或者说基于标签的数据分类方法。这种方法会预测一个新的观察对象的类别，该类别是该对象最接近的已知对象的k个邻居中大多数出现的那一个。即k-近邻算法采用测量不同特征值之间的距离方法进行分类。模型评估(model assessment)是指对于一种具体方法输出的最终模型，使用一些指标和方法来评价它的泛化能力。模型评估一般可以分为回归、分类、聚类的任务，不同任务有不同评价指标。根据想要得到的目标值，可以把模型评估分为分类模型评估和回归模型评估。
机器学习实战 - KNN（K近邻）算法PDF知识点详解 + 代码实现
04-27
**K-近邻（KNN）算法**是机器学习领域中一种基础且直观的分类算法。它的核心思想是根据输入样本最接近的K个训练样本的类别来预测新样本的类别。KNN算法最早由Cover和Hart在1968年提出，是一种基于实例的学习方法，...
Python 机器学习 K-近邻算法
weixin_42098295的博客
01-30 1600
它是一种基于实例的学习（Instance-based learning），或者称为懒惰学习（Lazy learning），因为它不会从训练数据中学习一个固定的模型，而是使用整个数据集进行预测。在回归问题中，则通常是这些邻居值的平均值。选取合适的K值是至关重要的，太小的K值会使模型对噪声敏感，而太大的K值可能使模型无法捕捉到数据的特性。参数指定了计算最近邻的方法，可选项包括 'auto', 'ball_tree', 'kd_tree', 'brute'，其中'auto'会自动选择最适合数据的算法。
【机器学习】k-近邻算法简介与应用
铁直　Ansen
12-04 842
k-近邻算法（kNN） 简单地说，k-近邻算法采用测量不同特征值之间的距离方法进行分类。 k-近邻算法（kNN），它的工作原理是：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签。输入没有标签的新数据后，将信数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特种最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-
k-近邻(KNN)算法的应用
QEcode的博客
12-05 437
KNN约会配对from numpy import * from os import listdir import operatordef classify0(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0] diffMat = tile(inX, (dataSetSize, 1)) - dataSet sqDif
（机器学习）使用k-邻近算法实现的两个实例
qq_49192977的博客
10-10 2200
目录 一.判定未知电影的类型 2 python代码实现 2.1运行结果： 二.改进约会网站的配对效果 1.实例解释 2.数据处理 3.实现代码： 4. 运行结果： 总结 一.判定未知电影的类型 1.实例解释 以电影分类为例子，使用k-近邻算法分类爱情片和动作片。有人曾经统计过很多电影的打斗镜头和接吻镜头，下图显示了6部电影的打斗和接吻镜头数。假如有一部未看过的电影，如何确定它是爱情片还是动作片呢？ ①首先需要统计这个未知电影存在多少个打斗镜头和接吻镜头，下图中...
k近邻算法-3.算法应用
weixin_30527323的博客
07-13 202
算法具体应用 import numpy as np import matplotlib.pyplot as plt import matplotlib from sklearn import datasets 加载手写数据集 digits = datasets.load_digits() #加载手写数据集 手写数据集共有5620个样本，每个样本有64个特征，为手写数据集的像素点，其样...
K邻近算法（KNN）的原理和实例
qq_64648934的博客
10-09 1403
对这k个最近邻，查看他们的标签都属于何种类别，根据”少数服从多数，一点算一票”的原则进行判断，数量最多标签类别就是x的标签类别。KNN中的K代表的是距离需要分类的测试点x最近的K个样本点，如果不输入这个值，KNN算法中的重要部分“选出K个最近邻”就无法实现。优点： 简单，易于理解，易于实现，无需估计参数，无需训练（不需要花费任何时间做模型的构造）， 特别适合多分类问题，适合对稀有事件进行分类，精度高，对异常值不敏感，无数据输入假定。使用这个距离，欧氏空间成为度量空间，相关联的范数称为欧几里得范数。
机器学习实战——K-近邻算法的应用
m0_53062159的博客
01-27 400
从以上实例中可以发现KNN算法的基本思路是将测试样本通过算法在训练样本中预测其类别，其预测精度受多方面因素的影响，例如训练数据的正确性和规模、算法的实现过程、参数值k的选取等等。KNN算法的识别过程相当于蛮力识别，因为每个测试向量都要对训练集里的每一个数据进行距离运算，实际运用时可以发现其执行效率并不高。但是KNN算法的实现思路较为清晰、易于理解，对刚接触图像识别的新手提供了一个清晰直观的思路，同时也能为后续的算法提供很多实用性的方法。
k-近邻算法用于实际应用
hhy518518的专栏
10-20 5229
摘要： 本章所有内容数据均来自《机器学习实战》的数据，是对K近邻算法的应用以及熟练 实例1改进约会网站的配对效果  题目描述：海伦喜欢在在线约会网站寻找适合自己的对象，但是她不是喜欢每一个人。她发现交往过三种类型的人：   1.不喜欢的人   2.魅力一般的人   3.极具魅力的人 所以需要对网站的对象归入恰当的分类。她周一到周五喜欢魅力一般的人，而周末则更喜欢极具魅力的人。
K近邻算法应用——价格预测
FreeFu的博客
12-18 1220
一、构造数据#根据rating和age评估价格 def wineprice(rating,age): peak_age=rating-50 price=rating/2 if age>peak_age: price=price*(5-(age-peak_age))#过了峰值年,价值降低 else: price=price*(5*(age+
机器学习入门：K-近邻算法原理与应用
在实际应用中，K-近邻算法可以与其他机器学习算法组合使用，以提高算法的性能。例如，我们可以使用K-近邻算法作为基线算法，然后使用其他机器学习算法来改进算法的性能。 K-近邻算法是一种简单易行的机器学习算法，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值