如何在海量数据中查找最相似的topk样本

最新推荐文章于 2024-08-22 01:55:34 发布
最新推荐文章于 2024-08-22 01:55:34 发布
阅读量5.2k 收藏 4
点赞数
分类专栏： 数据结构与算法 文章标签： topk相似
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Bryan__/article/details/52305391
版权


大概总结3中方法，不一定对，欢迎探讨

1：还记得KNN算法吧，选择最近的K个样本作为预测输出

其中减少计算量的地方在于使用了KD树，使得查找非常高效

先计算每个特征的方差，降序排序构建二叉树
对当前特征排序，取中位数作为分裂节点，把数据划分成2部分
对左右部分递归处理

搜索最近邻点：沿着路径搜索即可

当维数较大时，直接利用k-d树快速检索的性能急剧下降。
假设数据集的维数为D，一般来说要求数据的规模N满足条件：
N远大于2的D次方，才能达到高效的搜索。

另一个是改进的WAND算法


2：使用聚类算法

时间复杂度为O(n*k*t) n为样本数，k为聚类中心数，t为迭代次数

查找相似样本的时候就可以在本簇里面查找或者在相邻的簇里面查找


3：使用hash大法

对特征simhash一次

这样相似的样本就会被映射到相邻的位置



Bryan__
关注
专栏目录
海量数据相似数据查找方法（ANN）：【高维稀疏向量的相似查找——MinHash, LSH, SimHash】【稠密向量的相似查找——Faiss、Annoy、ScaNN、Hnswlib】
u013250861的博客
02-11 1101
主要分为和两大方向。
在数组里面找相似度最高的。
qq_43394914的博客
11-09 555
在数组里面找相似度最高的 $temp_name='["EMS","EMS经济快递","申通快递(STO)","圆通速递(YTO)","韵达快递","宅急送","FedEx","中通快递(ZTO)","百世快递","天天快递","顺丰速运","德邦","中铁物流","天地华宇","龙邦速递","快捷快递","优速快递","全日通快递","全峰快递","新邦物流","佳吉快运","佳怡物流","盛辉物...
机器学习样本特征值相似性匹配方法
qq_46682005的博客
10-19 2207
在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量方法。一般而言，定义一个距离函数 d(x,y), 需要满足下面几个准则： d(x,x) = 0 // 到自己的距离为0 d(x,y) >= 0 // 距离非负 d(x,y) = d(y,x
深入理解Annoy：高效的最近邻搜索库
最新发布
qq_29929123的博客
08-22 462
Annoy是一个C++库，提供Python绑定，用于在高维空间中搜索与给定查询点接近的点。高效的近似最近邻搜索创建大型只读文件数据结构，可映射到内存中支持多进程共享同一数据结构适用于各种机器学习任务，如推荐系统、聚类等Annoy是一个强大而灵活的最近邻搜索库，特别适用于大规模数据集和需要快速检索的应用场景。它与LangChain的集成使得在自然语言处理任务中使用向量搜索变得更加简单。Annoy GitHub仓库Annoy官方文档LangChain文档。
REPOSE: Distributed Top-k Trajectory Similarity Search with Local Reference Point Tries（ICDE20）
小蚂蚁与大象
08-17 302
首先，介绍top-k查询的基本算法，即以best-first的方式遍历RP-Trie中的节点。因此，分区具有相似的组成结构，大多数分区和计算节点都可能贡献于查询结果，从而显著提高了计算资源利用率，并实现了负载均衡。不同的是，如果一个引用轨迹是另一个引用轨迹的前缀，我们在末尾添加字符$，这保证每个引用轨迹都结束于叶节点。为了访问RP-Trie上的每个节点，LBo和LBt的计算开销均为O(mn)，其中m和n分别为查询轨迹和参考轨迹的长度。相比之下，对于叶节点，我们存储了该节点中所有轨迹的完整参考轨迹。...
php关键字相似度查询,查询相似度最高的字符串
weixin_33621208的博客
03-12 170
根据传入的字符串和数组，返回数组中相似度最高的字符串function closest_word($input, $words) {$shortest = -1;foreach ($words as $word) {$lev = levenshtein($input, $word);if ($lev == 0) {$closest = $word;$shortest = 0;break;}if ($...
相似度查询
Thinking_boy1992的博客
11-23 3326
本文翻译自 相似度接口 在前面的两篇教程中，讲述了用向量空间模型构造语料库的含义，以及如何在两个不同的向量空间进行转换；这样做的一般目的是我们想要确定两篇文档的相似性，或一篇文章和文档集中的其他文章的相似性； 下面展示这如何在Gensim中被做到的，让我们考虑与前面例子相同的语料库； (which really originally comes from Deerwester et al.’s
minhash算法检索相似文本_海量数据相似数据查找方法
weixin_39638929的博客
12-19 390
目录主要分为高维稀疏向量和稠密向量两大方向。高维稀疏向量的相似查找——minhash, lsh, simhash针对高维稀疏数据情况，如何通过哈希技术进行快速进行相似查找。例如，推荐系统中item-user矩阵。如果你有item数量是百万级别，user是千万级别，这个矩阵是十分稀疏的。你如何计算每一个item的Top N相似item呢？同样海量文本场景，文本集合可以看成doc-word 稀疏矩阵，...
6月机器学习班第6课--海量高维数据与最近邻查找.pdf
05-01
首先，【最近邻问题(NN)】指的是在一组数据中寻找与目标对象最相似的样本。例如，在电影类型预测的例子中，通过比较电影特征（如打斗次数、接吻次数等）来预测未知电影的类型。这是K最近邻算法（KNN）的基础，KNN会...
海量数据处理面试题与方法总结：Top10挑战
在海量数据处理领域，面试题通常设计为解决实际业务场景中的挑战。以下是针对给定内容的详细知识点： 1. **海量日志数据处理**：当面临大量日志数据时，直接处理所有数据可能超出系统内存限制。一种常见策略是使用...
海量数据处理挑战：内存限制下的高效算法
7. **Top-K问题**：在海量数据中找出最常见的元素（如Top-10查询串）可使用优先队列（最小堆）配合Map进行统计，或者采用滑动窗口方法跟踪排名。对于非常大的K值，可以使用B树或跳跃列表等数据结构。 8. **流式计算...
mysql 查找相似数据_局部敏感哈希LSH（Locality-Sensitive Hashing）——海量数据相似性查找技术...
weixin_39897015的博客
11-14 446
一、 前言最近在工作中需要对海量数据进行相似性查找，即对微博全量用户进行关注相似度计算，计算得到每个用户关注相似度最高的TOP-N个用户，首先想到的是利用简单的协同过滤，先定义相似性度量（cos，Pearson，Jaccard），然后利用通过两两计算相似度，计算top-n进行筛选，这种方法的时间复杂度为O(n^2)（对于每个用户，都和其他任意一个用户进行了比较）但是在实际应用中，对于亿级的用户量，...
TrajGAT：轨迹相似度计算模型
妈妈在家
10-19 3432
1. 作者提出的空间划分方式，将equal-size的网格转换为了层次结构，并通过同一级节点的连接，构造出了一个空间划分的图，具有一定的新意。 2. 在此基础上，作者使用的图注意力机制捕获长序依赖，在实验上取得了良好的效果。
Python：获取K-Means中心点最近的样本
DeniuHe的博客
03-01 5698
import numpy as np import pandas as pd from sklearn import datasets as DS import matplotlib.pyplot as plt def euclideanDist(A, B): return np.sqrt(sum((A - B) ** 2)) def RandomCenters(dataSet, k...
论文笔记：Spatio-Temporal Trajectory Similarity Measures: AComprehensive Survey and Quantitative Study
qq_40206371的博客
09-03 1737
大多数轨迹相似性度量的效果受到数据集分布和特性的极大影响。具体来说，Frechet、Hausdorff、LCRS 和 LORS 在不同的数据集中始终表现良好和稳定；而 ERP 表现最差。大多数度量仅计算轨迹的空间距离来衡量相似性；然而，当直接扩展到时间距离时（即使时间成本很高），它们在时空场景中也表现得非常有效。基于点的度量在自由空间中表现更好；而基于段的度量在道路网络中更有效。此外，一些度量（例如，DTW 和 LCSS）在自由空间中可以直接扩展到道路网络，并保持良好的性能；
特征工程Embedding技术
小叮当的博客
02-21 2861
文章目录Embedding概念经典Embedding方法Word2VecWord2Vec介绍Word2Vec如何生成样本Word2Vec 模型的结构Word2Vec如何提取词向量Item2Vec Embedding概念 什么是embedding？ Embedding 就是用一个数值向量“表示”一个对象（Object）的方法，我这里说的对象可以是一个词、一件物品、一部电影等等。 一件物品能被向量表示，是因为这个向量跟其他物品向量之间的距离反映了这些物品的相似性。更进一步来说，两个向量之间的距离向量甚至能够反
annoy向量检索算法
zhongqiqianga的博客
12-11 8115
一:算法目标 annoy 算法的目标是建立一个数据结构能够在较短的时间内找到任何查询点的最近点，在精度允许的条件下通过牺牲准确率来换取比暴力搜索要快的多的搜索速度。 二:算法流程 1:建立索引 Annoy的目标是建立一个数据结构，使得查询一个点的最近邻点的时间复杂度是次线性。Annoy 通过建立一个二叉树来使得每个点查找时间复杂度是O(log n)。 看下面这个图，随机选择两个点，以...
Annoy最近邻检索技术之 “图片检索”
Tak-Wah Blog
06-16 1185
本文主要介绍一下NN检索方式Annoy（Approximate Nearest NeighborsOh Yeah）的应用，在前几篇的召回文章中（1.推荐系统召回模型之YouTubeNe...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值