机器学习算法及实战——kNN算法

最新推荐文章于 2023-10-09 21:37:29 发布
VIP文章 最新推荐文章于 2023-10-09 21:37:29 发布
阅读量550 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 KNN python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/keithic/article/details/81233761
版权

K近邻算法（k-nearest neighbor, k-NN）在各种算法中算是比较简单的算法，理解起来也比较轻松。

1.描述

在一个已知特征标签的数据集（训练集）中，数据集的各个元素在坐标空间中都是有距离的，而距离最近的数据子集一般具有相对优势的特征标签数量。新数据（测试数据，没有特征标签）输入后，观测与其相临近的K个数据组成的数据子集的特征标签，其中数量最多的即是该新数据的特征标签。

其中，有两个比较重要的概念：1.距离，一般采用欧氏距离度量，是欧几里得空间里两点间“普通”（即直线）距离。此外还有曼哈顿距离、切比雪夫距离、闵可夫斯基距离等。2.K，是自定义参数，K选取的大小对预测准确度有很大的影响，一般在2~10之间。

如图所示，数据集有两个特征标签（蓝色方块、红色三角），测试样本（绿色圆形）要么是蓝色方块类，要么是红色三角类。如果 k=3（实线圆圈）它会被分配给红色三角类，因为内圆内红色数量居多；如果k=5（虚线圆圈）它会被分配到蓝色方块类（3个正方形与2个三角形在外侧圆圈之内）。

 

2.算法

输入：训练集    

最低0.47元/天 解锁文章
keithic
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PYTHON机器学习——KNN（k近邻算法）
12-22
PYTHON机器学习——KNN（k近邻算法） 代码实现 首先，导入需要用到的包 import numpy as np import matplotlib.pyplot as plt 初始化模拟数据集和对应的分类 data_x=[[1.15,2.34], [1.55,2.47], [3.78,4.98], [3.34,4.56], [2.22,2.34]] data_y=[1,1,0,0,1] X_train=np.array(data_x) Y_train=np.array(data_y) 画图看一下两类数据在图上的分布情况
机器学习 --- kNN算法
学习日常分享
06-22 9077
将 kNN 算法称为机器学习算法中最简单的算法一点都不为过，因为该算法的思想用一句化就能概括，即：“近朱者赤，近墨者黑”。 第1关：实现kNN算法 任务描述 本关任务：补充 python 代码，完成 kNNClassifier 类中的 fit 函数与 predict 函数。实现 kNN 算法的训练与预测功能。 相关知识 为了完成本关任务，你需要掌握 kNN 算法的算法流程。 kNN 算法的算法流程 kNN 算法其实是众多机器学习算法中最简单的一种，因为该算法的思想完全可以用 8 个字来概括：“近朱者赤，近墨
第1关：knn算法概述
SorrymakerS的博客
05-20 2483
*任务描述 本关任务：使用python实现方法，找出目标样本最近的k个样本。 相关知识 为了完成本关任务，你需要掌握：1.knn算法思想，2.距离度量。 knn算法思想 k-近邻（k-nearest neighbor ,knn）是一种分类与回归的方法。我们这里只讨论用来分类的knn。所谓k最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最近的k个邻居来代表。 knn算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性
机器学习之KNN算法
01-06
1.基础概念 kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。 KNN算法不仅可以用于分类，还可以用于回归。通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。更有用的方法
【宅着宅着就学习惯了】机器学习课程——KNN算法实战代码
03-28
【宅着宅着就学习惯了】机器学习课程——KNN算法实战代码（更新） 1. KNN算法实战（一） 2. KNN算法实战（二） 3. KNN算法实战-习题数据
KNN算法（邻近算法）
m0_63919802的博客
10-09 994
KNN（K- Nearest Neighbor）法即K最邻近法，最初由 Cover和Hart于1968年提出，是一个理论上比较成熟的方法，也是最简单的之一。该方法的思路非常简单直观：如果一个样本在特征空间中的K个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。简单来讲，KNN就是“”的一种分类算法。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN是一种基于实例的学习，属于懒惰学习，即没有显式学习过程。
机器学习笔记--KNN算法
qq_44175983的博客
08-12 246
在数学中，切比雪夫距离(Chebyshev distance)或是L∞度量，是向量空间中的一种度量，二个点之间的距离定义是其各坐标数值差绝对值的最大值。他的平坦空间(即假设没有重力，曲率为零的空间)的概念以及表示为特殊距离量的几何学是与狭义相对论的要求相一致的。汉明距离是使用在数据传输差错控制编码里面的，汉明距离是一个概念，它表示两个(相同长度)字对应位不同的数量，我们以表示两个字,之间的汉明距离。在机器学习算法中，我们经常需要计算样本之间的相似度，通常的做法是计算样本之间的距离。值的选择和分类决策规则。
最简单的分类算法之一：KNN（原理解析+代码实现）
热门推荐
KI的博客
07-12 13万+
KNN（K- Nearest Neighbor），即K最邻近算法，是数据挖掘分类技术中最简单的方法之一。简单来说，它是根据“邻近”这一特征来对样本进行分类。
Knn算法的实现
最新发布
m0_62682527的博客
10-09 333
当涉及到分类问题时，K最近邻算法是一种简单而常用的机器学习算法。KNN算法属于监督学习算法，可以用于对未知样本分类或标记。KNN算法的基本思想是基于近邻样本的距离进行分类。它不需要事先对数据进行训练，而是在预测时根据待分类样本与训练集中已有样本的距离来确定其类别。KNN算法的步骤如下：准备数据集：收集带有标签的训练样本数据集，其中每个样本都有对应的特征和标签。选择k值：确定要考虑的邻居数量k，通常通过交叉验证来选择最佳的k值。
机器学习—KNN算法及其简单实现
lullaby_UUN的博客
11-11 2253
knn算法的简单介绍和实现
机器学习实战 - k近邻算法（KNN算法）总结
04-12
机器学习实战 - k近邻算法（KNN算法）总结 适合机器学习实战入门新手 K-近邻算法，又称为 KNN 算法，是数据挖掘技术中原理最简单的算法。 KNN 的工作原理：给定一个已知类别标签的数据训练集，输入没有标签的新数据后，在训练数据集中找到与新数据最临近的 K 个实例。如果这 K 个实例的多数属于某个类别，那么新数据就属于这个类别。 优点 1简单好用，容易理解，精度高，理论成熟，即可以用来做分类也可以用来做回归 2可用于数值型数据和离散型数据 3无数据输入假定 4适合对稀有事件进行分类 缺点 1计算复杂性高；空间复杂性高 2计算量太大，所以一般数值很大的时候不用这个，但是单个样本又不能太少，否则容易发生误分 3样本不平衡问题（即某些类别的样本数量很多，某些类别的样本数量很少） 4可理解性比较差，无法给出数据的内在含义
通过度量转换发现KNN图的潜在相似性
02-25
通过度量转换发现KNN图的潜在相似性
机器学习之KNN(K近邻)算法
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-18 1万+
KNN算法又叫做K近邻算法，是众多机器学习算法里面最基础入门的算法。KNN算法是最简单的分类算法之一，同时，它也是最常用的分类算法之一。KNN算法是有监督学习中的分类算法，它看起来和Kmeans相似（Kmeans是无监督学习算法），但却是有本质区别的。KNN算法基于实例之间的相似性进行分类或回归预测。在KNN算法中，要解决的问题是将新的数据点分配给已知类别中的某一类。该算法的核心思想是通过比较距离来确定最近邻的数据点，然后利用这些邻居的类别信息来决定待分类数据点的类别。其核心思想为：“近朱者赤近墨者黑”
机器学习中距离和相似性度量方法
jhoojhooablido
12-27 458
在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量方法。一般而言，定义一个距离函数 d(x,y), 需要满足下面几个准则： d(x,x) = 0 // 到自己的距离为...
KNN算法的简单实现
GE90115的博客
10-09 165
k邻近算法，或者说K最邻近（KNN，K-NearestNeighbor）分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是K个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻近值来代表。近邻算法就是将数据集合中每一个记录进行分类的方法使用euclidean_distance函数来计算两个样本之间的欧氏距离。使用函数来计算其与训练集中所有样本的距离，然后选择距离最近的前k个样本的标签，并统计最常见的标签作为预测值。
knn（k近邻算法）
nic's blog
08-31 965
一、什么是knn算法 knn算法实际上是利用训练数据集对特征向量空间进行划分，并作为其分类的模型。其输入是实例的特征向量，输出为实例的类别。寻找最近的k个数据，推测新数据的分类。 二、算法原理 1、通用步骤： 计算距离 计算待求点与其他点之间的距离（常用欧几里得距离或马氏距离） 升序排列 将计算的距离按照升序排列，即距离越近越靠前 取前k个 加权平均 三、应用 ...
KNN邻近算法（k-NEAREST NEIGHBOR）
cindywry的博客
11-01 734
邻近算法，或者说K近邻（KNN， K-NearestNeighbor）的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。kNN算法需要一个已经分好类的训练数据集，然后对没有分类(没有标记)的记录进行分类，kNN确定训练数据集中与该记录相似度"最近"的k条记录,将无标记的测试例子分配到k个近邻中占比最大的那个类中。 ...
KNN cosine 余弦相似度计算
djph26741的博客
05-30 1016
# coding: utf-8 import collections import numpy as np import os from sklearn.neighbors import NearestNeighbors def cos(vector1,vector2): dot_product = 0.0; normA = 0.0; ...
主成分分析（降维）
LLLTTS
08-02 1万+
数据量太大时往往会有相关性较高的维度，给建模计算带来不必要的开支。 算法步骤： 输入：n维样本集，要降维到的维数n'. 　　　　输出：降维后的样本集D' 　　　　1) 对所有的样本进行中心化：  　　　　2) 计算样本的协方差矩阵 　　　　3) 对矩阵进行特征值分解 　　　　4）取出最大的n'个特征值对应的特征向量 将所有的特征向量标准化后，组成特征向量矩阵W。 　　　　5）对样...
第1关：kNN算法原理
05-19
kNN（k-Nearest Neighbor）算法是一种基于实例的学习（Instance-based Learning）方法，它是一种分类和回归方法。kNN算法的核心思想是：如果一个样本在特征空间中的k个最近邻居中大多数属于某一个类别，则该样本也属于这个类别。 kNN算法的工作流程如下： 1. 计算测试样本与训练集中所有样本之间的距离。 2. 选择k个距离最近的样本。 3. 对于分类问题，采用多数表决的方式确定测试样本的类别；对于回归问题，采用平均值的方式预测测试样本的值。 在kNN算法中，距离的计算是非常重要的，常用的距离度量方法有欧氏距离、曼哈顿距离和闵可夫斯基距离等。 kNN算法的优点是简单易懂，对异常值不敏感，适用于多分类问题；缺点是计算量大，需要存储全部训练数据，对于高维数据容易出现“维数灾难”的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值