KNN过时了！ANNs比它快了整整380倍

最新推荐文章于 2024-06-24 14:50:33 发布
最新推荐文章于 2024-06-24 14:50:33 发布
阅读量1.4k 收藏 6
点赞数 1
分类专栏： 热点文章 AI 文章标签： 算法 python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duxinshuxiaobian/article/details/112169420
版权
本文探讨了KNN算法在大规模数据中的效率问题，提出近似最近邻（ANN）算法，如HNSW，作为解决方案。HNSW通过多层图结构实现快速而准确的近似搜索，实验证明在寻找大量数据的最近邻时，HNSW的速度比KNN快了380倍，同时保持高准确性。结论指出，HNSW是KNN的有效替代方案。
摘要由CSDN通过智能技术生成

全文共5889字，预计学习时长15分钟

 

KNN过时了！ANNs比它快了整整380倍

图源：Google

我们正在经历一场灭绝性的大事件，颇受欢迎的KNN算法正面临淘汰，而几乎每门数据科学课上都会学习这种算法！

 

KNN背景

 

寻找与给定项目的K个相似项的做法在机器学习界被广泛称为“相似”搜索或“最近邻”（NN）搜索。最广为人知的最近邻搜索算法便是K最近邻（KNN）算法。

 

它的用途很广，在已有的物品集如手机电商目录中，运用KNN,便可以从这一整个目录中找到一个少数（Ｋ）最近邻来发起新的搜索请求。

 

比如说，在下面这个例子中，如果将K设为３，那每一个“iphone”的３最近邻便是其他“iphone”。类似地，对每一个“Samsung”的3最近邻便是所有的Samsungs。

KNN过时了！ANNs比它快了整整380倍

6款手机的目录

KNN的问题

 

尽管KNN很适合寻找类似项,但是它使用的是穷尽匹配距离计算方法。如果数据中有1000项的话，要找到一个新产品中K=3的最近邻，该算法就会把新产品与数据库中其他产品一起执行1000次距离计算。

 

这还不算太糟糕。但试想在现实中，顾客对顾客（C2C）的市场数据库里有着上百万的产品，并且每天都可能会上传新的产品。把新产品与所有数百万的产品进行比对的做法确实太浪费时间了，也就是说根本无法拓展。

 

解决方法

 

让最近邻在大量的数据中也适用的解决方法就是彻底规避这种暴力的距离计算法，代之以更复杂的一类算法，名为近似最近邻（ANN）。

KNN过时了！ANNs比它快了整整380倍

 

近似最近邻（ANN）

 

严格来说，近似最近邻这种算法在最近邻搜索中允许少量的错误。但在现实中的C2C市场里，“真正的”最近邻的数字要比被搜索的“K”最近邻高。相比暴力的KNN，ANN能够在短时间内达到惊人的准确率。下列有几种ANN算法：

 

· Spotify的【ANNOY】

· Google的【ScaNN】

· Facebook的【Faiss】

· 还有个人最爱：分层可导航小世界图【HNSW】

 

下面我们把焦点从Python的 sklearn中的KNN算法转向在Python的hnswlib 包中的HNSW图这一出色的ANN算法。接下来将使用大型的【Amazon product dataset】，其中包含‘手机&配件’分类中的527000个产品，以此来证明HNSW的速度非常快（准确说是快380倍），同

最低0.47元/天 解锁文章
「已注销」
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
knn scikit_使knn的速度比scikit在20行中学习的速度快300倍
weixin_26756255的博客
09-07 1146
knn scikit 介绍 (Introduction) k Nearest Neighbors (kNN) is a simple ML algorithm for classification and regression. Scikit-learn features both versions with a very simple API, making it popular in mach...
安装hnsw
u013630299的博客
03-15 896
先下载hnsw包https://github.com/nmslib/hnswlib pip3 install pybind11 numpy setuptools 进入到setup.py所在的路径，在该路径下运行python setup.py install
近似最近邻查找的几种方法
最新发布
bulling的博客
06-24 929
近似最近邻查找（Approximate Nearest Neighbor Search, ANNS）是一种在高维空间中查找与查询点距离最近的若干个点的技术。与精确最近邻查找不同，近似最近邻查找允许一定程度的误差，以换取更高的查询效率和更低的计算成本。
KNN和ANN的异同 |
m0_72160465的博客
04-02 590
在基于图的ANN算法中，如何构造图的结构至关重要，更准确一些来说的话，是边的构造至关重要。在后面的章节中，本文会针对一些图算法和结构，例如Delaunay Graph，Monotonic Search Network，Relative Neighborhood Graphs等进行深入的探讨。一般来说，精准找到K个最近邻往往代价很大，所以在实际应用中，KNN问题常常被弱化成ANN (Approximate Nearest Neighbor) 问题，即近似最近邻问题。，找到的一定是最近的K个点；
常用分类算法（决策树、KNN、ANN、SVM、朴素贝叶斯）优缺点总结【精炼版】
我不想写BUG的博客
06-03 6626
决策树： 优点： 简单易于理解 缺点
纯numpy手写KNN算法（速度较快）
weixin_39671140的博客
10-23 1061
经过优化，速度较快，性能瓶颈在于：训练数据跟预测数据求欧氏距离时，求两者之差的numpy矩阵运算部分，占用了大概70%的运行时间。 代码如下，安装使用tqdm库可看到执行进度条，可不用。 from tqdm import tqdm import numpy as np #KNN ( X_test.shape: (n_samples,n_features) ) def KNN_classifier(k, X_train, y_train, X_test) -> np.array: tra
ElasticSearch学习篇11_ANNS之基于图的NSW、HNSW算法
xiaosi的博客
03-29 1315
ANNS（Approximate Nearest Neighbor Search）翻译为近似最近搜索。是指在大型数据集中找到给定查询点的最近邻点。ANNS 旨在最小化计算成本并同时高效找到近似最近邻。目的：ANNS旨在高维空间中快速找到与查询点近似最近的邻居，牺牲一定的精确度以换取搜索速度的提升。原理：通过构建特定的数据结构（如基于空间划分的KD-Tree、局部敏感哈希LSH等）或使用特定的算法逻辑来减少在高维空间中搜索最近邻所需的计算量。应用场景。
knn.zip_knn 快
09-24
然而，"knn.zip_knn 快"这个主题向我们展示了一种优化后的KNN算法，它旨在提高运行效率并减少内存占用。这种优化可能涉及以下几个方面： 1. **距离度量优化**：传统KNN使用欧氏距离，但根据具体问题，其他距离度量...
knn_KNN分类_
10-03
KNN，全称为K-Nearest Neighbors，是一种基于实例的学习方法，也是监督学习中的一种非参数算法。在机器学习领域，KNN被广泛应用于分类和回归问题，尤其在分类问题上表现出色。本篇文章将深入探讨KNN算法的原理、实现...
KNNClassification:KNN 算法的实现以及它的一个版本，称为 MKNN（修改的 KNN），它使用邻居的权重来定义类
06-14
KNN 算法的实现以及它的一个版本，称为 MKNN（修改的 KNN），它使用邻居的权重来定义类。 使用示例： 蒙面 修改 Knn knn = 新修改 Knn(); 字符串基数 = ""; //使用数据库读取文件 int instances = knn....
openCV ANN KNN SVM
09-26
openCV ANN KNN SVM 算法类，可以轻松的移植到系自已的系统中去。
hnsw 大规模向量检索
06-23
使用hnswlib完成大规模向量检索，一般用于推荐系统中item2item的相似计算，选取物品最近的K个召回结果，相关介绍参考本人博客。
KNN_KNN分类_CIFAR-10_knn图像分类
09-11
KNN（K-Nearest Neighbors）算法是一种监督学习方法，常用于分类和回归问题，尤其在图像分类中表现出色。CIFAR-10是一个广泛使用的图像识别数据集，包含10个类别的60000张32x32像素的彩色图像。本项目将KNN算法应用...
人工智能神经网络
qq_68745178的博客
06-08 2523
1，人工神经网络（Artificial Neural Networks，简写为ANNs）是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，并具有自学习和自适应的能力。2.人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为
神经网络-机器学习
worldvagrant的博客
01-01 558
神经网络（ Artificial Neural Networks——ANNs）神经网络表示适合神经网络学习的问题组成神经网络的主要单元感知器感知器的表征能力感知器训练法则delta法则多层网络和反向传播网络反向传播算法增加冲量项 神经网络表示 Pomerleau（1993）的 ALVINN 系统是 ANN 学习的一个典型实例，这个系统使用一个学习到的 ANN 以正常的速度在高速公路上驾驶汽车。 ANN 的输入是一个 30×32 像素的网格，像素的亮度来自一个安装在车辆上的前向摄像机。 ANN 的输出是车辆行
推荐文章：KNN_CUDA——GPU加速的高效近邻搜索库
gitblog_00018的博客
05-27 454
推荐文章：KNN_CUDA——GPU加速的高效近邻搜索库 项目地址:https://gitcode.com/unlimblue/KNN_CUDA 1、项目介绍 KNN_CUDA 是一个基于CUDA实现的Python库，用于在PyTorch环境中进行大规模数据集上的K最近邻（K-Nearest Neighbors，简称KNN）搜索。这个库通过充分利用NVIDIA GPU的并行计算能力，显著提升了KN...
第三课 BP神经网络
Hubert的博客
11-05 2375
一、人工神经网络 在机器学习和认知科学中，人工神经网络（artificial neural networks ，ANNs)是受生物神经网络启发的一系列统计学习模型（动物的中枢神经系统，特别是大脑的中枢神经系统），用于估计或近似可依赖于大量输入且通常未知的函数。（通俗的讲就是需要输入大量样本数据进行训练学习，提取特征来进行统计分类） 人工神经元模型 输入：X1-Xn是输入的数据； 权值：Wi1-W...
k-d树 & kNN & ANN 等相关理解
sunfei05的博客
05-29 3450
花了两天时间就看了个k-d树 罪过罪过～不过还是大约总结以下吧起初看k-d树是在看李航的《统计学习方法》中提到的，kNN是个很简单的算法，但k-d树总的来说，稍微有点绕，感觉可能是看到的资料表述的不太清晰，也有可能是本来k-d树就不容易表述。k-d树从根本上来说就是一个多维空间下的二叉查找树，区别于二叉查找树只有1维，k-d树可以有n维，故而k-d树在分叉的时候，需要固定一维，构成一个超平面进行划...
KNN算法优化在敏感信息快速识别中的应用
"KNN算法在敏感信息识别中的应用研究" KNN（K-Nearest Neighbor，K近邻）算法是一种基于实例的学习方法，属于监督学习的范畴，常用于分类和回归问题。在文本分类领域，KNN算法尤其适用于处理非线性可分的数据集，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值