KNN聚类的原理和实现

最新推荐文章于 2022-08-21 21:08:41 发布
最新推荐文章于 2022-08-21 21:08:41 发布
阅读量1.6k 收藏 7
点赞数 3
分类专栏： 算法-python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55712138/article/details/119872473
版权
本文介绍了KNN（K-Nearest Neighbors）聚类算法的原理和Python实现过程，包括数据集下载、导入包、数据处理、算法实现及可能出现的问题与解决方案。通过计算距离、排序、取前k个邻居并进行加权平均来确定未知样本的分类。讨论了k值选择的影响以及实战中数据分块、测试和错误处理的方法。
摘要由CSDN通过智能技术生成

目录

一、认识knn算法

二、算法原理

 三、实战应用

1、下载数据集并导入包

2、读取数据

3、数据分块—test和train

4、KNN算法

5、测试

四、总结一下出现的问题

注意： 本部分内容只需Python实现即可。

一、认识knn算法

其实，knn就是寻找未知分类的离它最近的n个已知数据，然后来看它应该是属于哪一类的

二、算法原理

首先，简单来说有几个步骤（通用步骤）

1.计算距离（常用欧几里得距离或马氏距离）

     因为要计算所求的这个点与别的相差多远

2.升序排列

     意思就是距离最近的排前面，距离最远的排后边

3.取前k个

     根据排序进行取值

4.加权平均

     然后对取的前k个进行加权平均（注意不能用算术平均）

注意：

（1）k的值选取

          k太大，会导致分类模糊；k太小，会受个例影响，导致波动较大

（2）如何选取k

      当然如果你是老手，你可以靠经验来确定如何取k了；但如果没有把握，可以根据均方根误差来选取k。（后者是比较可靠的办法哦）举例：如下图可见，直接找到峰点即可，可选取k

 三、实战应用

1、下载数据集并导入包

数据集：使用的是一个癌症的检测数据，由于文件无法放在这里，在此放个学习视频链接

最低0.47元/天 解锁文章
北凉433
关注
专栏目录
KNN 聚类算法介绍
2301_80930412的博客
05-16 518
KNN 聚类算法是一种简单而有效的无监督学习算法，它可以用于处理各种类型的数据。它的优点包括简单易懂、易于实现、不需要预先假设数据的分布等，但它也存在一些缺点，例如对数据点的距离计算量大、K值的选取对聚类结果有很大影响等。
总结一下 KNN、K-means 和 SVM【附代码实现】
最新发布
xiaoh_7的博客
10-03 1159
在机器学习中感觉经常被问的几个算法：K近邻算法（K-Nearest Neighbors, KNN）、K均值聚类算法（K-means）以及支持向量机（Support Vector Machine, SVM）。给自己做个总结笔记，并贴出来，如果有误欢迎指出。
深度学习（入门）—KNN聚类算法
river_19的博客
08-24 2529
K-Nearest Neighbor 通俗的说，物以类聚，人以群分。即KNN聚类算法 算法原理 计算距离（常用欧几里得算法或马氏距离算法）、升序排列、取前K个、加权平均。 K值的选取： k太大：导致分类模糊。 k太小：受个例的影响，波动较大。 实战应用 癌症数据检测 网址 ...
KNN算法（有监督学习算法）
热门推荐
奋斗才是年轻该有的状态
06-23 1万+
一、KNN算法简介   KNN算法又称k近邻分类(k-nearest neighbor classification)算法。它是根据不同特征值之间的距离来进行分类的一种简单的机器学习方法，它是一种简单但是懒惰的算法。他的训练数据都是有标签的数据，即训练的数据都有自己的类别。KNN算法主要应用领域是对未知事物进行分类，即判断未知事物属于哪一类，判断思想是，基于欧几里得定理，判断未知事物的特征和哪一类
KNN聚类算法
zsysingapore的博客
08-21 670
机器学习，学习日记
ML算法（一）——KNN聚类的原理和实现
qq_54627325的博客
08-24 689
一、什么是knn算法 KNN（K-Nearest Neighbor）算法是机器学习算法中最基础、最简单的算法之一。它既能用于分类，也能用于回归。KNN通过测量不同特征值之间的距离来进行分类。对于任意n维输入向量，分别对应于特征空间中的一个点，输出为该特征向量所对应的类别标签或预测值。K是用于识别新数据点的类似邻居的数字。 “看一个人什么样，看他身边的朋友什么样就知道了”，寻找最近的K个数据，推测新数据的分类。 二、算法原理 通用步骤 计算距离（常用欧几里得距离或马氏距离） ...
统计学习方法|K近邻原理剖析及实现
Dodo
06-14 430
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。 原始blog链接：http://www.pkudodo.com/2018/11/19/1-2/ 前言 《统计学习方法》一书在前几天正式看完，由于这本书在一定程度上对于初学者是有一些难度的，趁着热乎劲把自己走过的弯路都写出来，后人也能走得更顺畅一点。 以下是我的...
MATLAB中KNN聚类方法
08-21
直接使用KNN，将自己的数据集直接代入到KNN中，可以分类出自己想要的结果
K近邻算法(分层聚类KNN和KDtree KNN)
05-08
K近邻算法matlab实现，包括分层聚类KNN和KDtree KNN，有什么建议，欢迎与我交流，谢谢
birch，Kmeans，Kmeans++，KNN四种聚类算法对二维坐标聚类分析代码
06-23
birch，Kmeans，Kmeans++，KNN四种聚类算法对同一个二维坐标数据集进行聚类分析，python代码
基于聚类算法的KNN文本分类算法研究
06-24
基于聚类算法的KNN文本分类算法研究难得的论文哦！！！！！！！！！！！！！！！
knn聚类测试
杂
12-27 1565
1，任务介绍在kaggle上做的最简单的一个题题目地址:https://www.kaggle.com/c/street-view-getting-started-with-julia训练集： 由下图所示的图片 和图片对应字符组成 测试图片就是和右边类似的图片类似的图片目的是识别测试图片中的字符这里用的都是20*20的小图片，便于处理， 用大图片可能会增加准确率2，首先把图片转为矩阵#
K-means聚类、KNN算法原理
摸金校尉的博客
02-17 993
1 K-means，k均值算法来实现聚类 K-means是一个将数据集分成K 个类（簇）的聚类算法，类内距离中心点最小，类间中心点距离最大。 1）先随机选取k个中心点 2）遍历所有数据，将每个数据划分到最近的中心点，然后计算每个聚类的平均值（means）作为新的中心点，重复此步骤 直到这k个中线点不再变化。 缺陷：k个初始化的质心的位置选择对最后的聚类结果和运行时间都有很大的影响...
KNN聚类
ooblack的博客
11-08 647
K-Means聚类算法 代码： import pandas as pd import random as rd import matplotlib.pyplot as plt from matplotlib.pylab import style iris_data = pd.read_csv("iris.csv", header=None, usecols=[0, 2, 4]) iris_data[5] = -1 # 设置初始距离 iris_data[6] = 10000 data = iris_dat
K近邻算法(KNN)&&K-means聚类算法
h2728677716的博客
03-11 4567
1.思想： 初始随机给定K（超参数）个簇中心，这K个簇中心是在样本点中随机选择。 按照最邻近原则把待分类的样本点分到各个簇。 划分完成后按平均法重新计算各个簇的质心，从而在确定新的簇心。 一直迭代，直到簇心的移动距离小于某个给定的值。 2.k-means算法评价准则：误差平方和准则，误差平方和达到最优（小）时，可以使类内尽可能紧凑，聚类之间尽可能分开。 loss损失：是一个非凸函数，所以有许多最小值，不一定每次都能落到全局最优，有可能落到局部最优。 k:簇的个数 Ci:某个簇
Python实现KNN聚类算法源码分享
资源摘要信息:"KNN聚类算法" 知识点概述： KNN（K-Nearest Neighbors，K最近邻算法）是一种基本...通过深入理解KNN算法的工作原理和优缺点，并结合实际问题选择合适的参数和距离度量，可以有效提高分类预测的准确性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值