快速计算距离Annoy算法原理及Python使用

最新推荐文章于 2024-02-02 09:51:27 发布
最新推荐文章于 2024-02-02 09:51:27 发布
阅读量1.4w 收藏 24
点赞数 7
分类专栏： 机器学习算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37850187/article/details/92712490
版权

快速计算距离Annoy算法

基本原理

高维稀疏数据进行快速相似查找，可以采用learning to hash参考：Minhashing & LSH & Simhash 技术汇总,但高维稠密数据查找则采用annoy

如何从海量文本中快速查找出相似的Top N 文本
Annoy（Approximate Nearest Neighbors Oh Yeah）快速算法,在实际应用中发现无论计算速度和准确性都非常不错。

原始2D数据分布图：
在这里插入图片描述

1. 建立索引过程

Annoy的目标是建立一个数据结构，使得查询一个点的最近邻点的时间复杂度是次线性。Annoy 通过建立一个二叉树来使得每个点查找时间复杂度是O(log n)。 看下面这个图，**随机选择两个点，以这两个节点为初始中心节点，执行聚类数为2的kmeans过程，最终产生收敛后两个聚类中心点。**这两个聚类中心点之间连一条线段（灰色短线）ÿ

了解本专栏 订阅专栏 解锁全文 超级会员免费看
召唤师的峡谷
关注
  • 7
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
订阅专栏
三种邻近搜索
whaty6的博客
11-17 3133
Annoy 介绍: Approximate Nearest Neighbor Oh Yeah，是一个带有Python bindings的C ++库。 用于在海量文本中快速搜索相似的用户/物品（适合向量维度小于1000，向量数在百万级别） Annoy是Spotify开源的高维空间求近似最近邻的库，在Spotify使用它进行音乐推荐 Annoy通过将海量数据建立成一个二叉树，使得每个数据查找时间复杂度是O(logn) 原理： 随机选择两点进行超平面划分，在划分的子空间内不停递归划分，直至每个子空间最多只剩下
annoy，一个超强的 Python 库！
涛哥聊Python
02-01 621
Annoy（Approximate Nearest Neighbors Oh Yeah）是一个用C++编写的高性能近似最近邻搜索库，但它同时也提供了Python的API，使得在Python中使用Annoy变得十分便捷。Annoy的主要目标是通过在高维空间中进行快速的近似最近邻搜索来降低计算成本。这在许多实际场景中都非常有用，例如：推荐系统：找到用户可能感兴趣的物品。文本搜索：找到与查询文本相似的文档。图像检索：根据图像的特征向量找到相似的图像。
预编译好的python3.6+window10下的annoy包
04-22
预编译好的python3.6+window10下的annoy包；可以避开安装VC++14.0。 应该直接解压到site-packages下就能用了~~
Annoy算法
小马日记
08-20 1120
快速计算距离Annoy算法原理及Python使用 海量数据相似查找系列2 – Annoy算法
Annoy算法简单介绍
hblg_bobo的博客
08-05 1500
Annoy算法介绍
python安装annoy
咖乐部
02-21 1635
python安装annoy debug解决 ERROR: Command errored out with exit status 1: ERROR: annoy-1.17.0-cp39-cp39-win_amd64.whl is not a supported wheel on this platform.
人机交互系统（1.1） ——Annoy算法（海量数据查找）
两只橙的博客
03-02 2031
前言 一旦文档变成这种稠密向量形式，那如何从海量文本中快速查找出相似的Top N 文本呢? 这就不得不提到一个海量数据相似查找算法——Annoy算法。 算法原理 建立索引 Annoy的目标是建立一个数据结构，使得查询一个点的最近邻点的时间复杂度是次线性。Annoy 通过建立一个二叉树来使得每个点查找时间复杂度是O(log n)。 看下面这个图，随机选择两个点，以这两个节点为初始中心节点，执行聚类...
Python库 | annoy-1.16.0.tar.gz
04-06
资源分类：Python库 所属语言：Python 资源全名：annoy-1.16.0.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
预编译好的python3.7+window10下的annoy包
04-22
Annoy的Python接口使得数据科学家和工程师能够方便地在Python项目中利用其高效搜索算法。 至于压缩包子文件的文件名称列表：“annoy”可能表示Annoy库的源代码或二进制文件，而“annoy-1.15.2.dist-info”则是...
Annoy:针对内存使用优化的 C++/Python 中的近似最近邻-开源
07-08
Annoy（Approximate Nearest Neighbors Oh Yeah）是一个 C++ 库，带有 Python 绑定，用于搜索空间中靠近给定查询点的点。 它还创建了大型只读基于文件的数据结构，这些数据结构被映射到内存中，以便许多进程可以共享...
Python-fastTSNEtSNE的快速并行实现
08-12
1. **Fourier插值**：传统tSNE使用的是邻域插值，而`fastTSNE`引入了快速傅里叶变换(FFT)来提高计算速度。FFT是一种高效计算离散傅里叶变换的算法，能够将插值过程转换到频域进行，从而减少计算复杂性。 2. **近似...
python 安装annoy包
Yunshang12345的博客
03-24 2279
1。进入终端安装 pip install --user annoy 这个时候大概率会报错，报错信息大概是Microsoft visual c++ 14.0 is required。。。。 简单的解决办法： 链接：https://pan.baidu.com/s/1eJqG1DauBeLaz94O94bEQw 提取码：mvgi 下载完成，解压将两个文件夹放入anacond...
Python——annoy的安装&如何安装包
GeekZW的博客
12-03 6376
Python——annoy的安装 目标：在不同操作系统中安装annoy，用于从海量文本中快速查找出相似的Top N 文本。 背景：Annoy是高维空间求近似最近邻的一个开源库。GitHub：Annoy源码，本文主要谈如何在Windows、Linux与MacOX中进行安装annoy包。具体用法与性能分析见下一篇博客。 1、Linux/Mac OX操作系统 pip install -i https://pypi.tuna.tsi...
Python近似最近邻搜索库之annoy使用详解
最新发布
Rocky006的博客
02-02 1332
在大数据时代，处理高维数据集的需求越来越迫切，尤其是在机器学习、推荐系统和自然语言处理等领域。高维数据集中的一个常见问题是最近邻搜索，即找到与给定数据点最接近的数据点。Python Annoy库就是专为解决这类问题而设计的，它提供了高效的近似最近邻搜索算法，本文将深入探讨Annoy库的功能、用法和实际应用。
annoy(快速近邻向量搜索包)学习小记 - pip命令学习与annoy基础使用
Miracle8070
01-15 5211
1. 写在前面 在写fun-rec新闻推荐系统的YouTubeDNN召回的时候， 得到用户向量和新闻向量，基于用户向量，需要从海量新闻里面得到最相似的TopK个新闻， 此时需要用到快速向量检索技术，之前用过的一个工具是faiss， 具体使用方法我也记录了一篇博客Faiss(Facebook开源的高效相似搜索库)学习小记， 但是faiss在windows系统中并不是很好安装，并且看着也有些复杂， 这次又接触了另一个向量检索的好用工具包， 就是annoy了。 这篇文章主要是记录下如何用annoy工具包做向量检索
MySQL性能调优 – 使用更为快速的算法进行距离计算
haodafeng2000的专栏
10-11 1066
13一/100 MySQL性能调优 – 使用更为快速的算法进行距离计算 最近遇到了一个问题,通过不断的尝试最终将某句原本占据近1秒的查询优化到了0.01秒,效率提高了100倍. 问题是这样的,有一张存放用户居住地点经纬度信息的MySQL数据表,表结构可以简化
2维快速距离算法(Fast_Distance_2D)的解释
dcba62的专栏
01-19 2945
《Windows游戏编程大师技巧》中介绍了一个2维快速距离算法(Fast_Distance_2D)。但解释过于简单，本文试图对该算法做更详细解释。
【annoy】高维空间求近似最近邻
YanqiangWang的专栏
08-21 695
在介绍腾讯词向量时，用到了annoy，这里对annoy的用法详细做一下介绍。 GitHub地址：https://github.com/spotify/annoy Annoy是Erik Bernhardsson在Hack Week期间花了几个下午写的(github原话)，全称Approximate Nearest Neighbors Oh Yeah(这个Oh Yeah真是亮瞎眼)。这个包的...
annoy 源码阅读 (近似最近邻搜索 ANN)
热门推荐
KIDGIN7439的专栏
08-03 1万+
最近工作中使用了一下annoy，于是抽时间看了下源码，记录下。。 annoy支持三种距离度量方式，cos距离，欧式距离和曼哈顿距离。下面主要通过最简单的欧氏距离来看。 首先看下节点node的结构 n_descendants记录了该节点下子节点的个数，children[2]记录了左右子树，v和a之后会详细说，先知道v[1]代表该节点对应的向量，a代表偏移就好。 annoy建树的时
Annoy算法的详细介绍
08-07
### 回答1： Annoy算法是一种快速的近似最近邻搜索算法，它使用可用的空间换取时间，以抗击高维空间中的维数灾难。它通过将搜索空间划分为多个维度，以构建一个索引树来加快搜索速度，利用预选定的属性来排序搜索结果。它通过计算欧式距离来查找最近邻，同时考虑多个预定义的属性，而不仅仅考虑空间坐标。 ### 回答2： Annoy算法是一种用于高效近似最近邻搜索的算法。该算法的设计目标是在大规模数据集上进行快速检索，以找到与给定查询向量最相似的K个数据点。该算法的效率来源于其对索引结构的优化以及使用了一种称为“近似k最近邻（approximate k nearest neighbors）”的策略。 在Annoy算法中，数据被组织成一个树状结构，每个节点都有一个分裂轴和一个分裂值。根节点是整个数据集的中心，而每个叶子节点都包含一个或多个数据点。通过不断递归地将数据集分割成两个子集，直到达到叶子节点的条件为止，就构建了这个树状结构。 当进行查询时，Annoy算法会从树的根节点开始，根据查询向量的特征值与节点的分裂轴和分裂值进行比较，确定下一步向哪个子节点搜索。这个过程将根据节点中数据点与查询向量的相似度进行排序，并保留与查询向量最相似的K个数据点。 在Annoy算法中，为了进一步提高搜索效率，使用了一种“随机近似”的策略。该策略包括在查询过程中仅搜索空间中的一部分数据点，而不是遍历整个数据集。这样一来，通过牺牲一定的搜索精度，大大减少了搜索的时间复杂度。 总的来说，Annoy算法通过构建树状结构和随机近似的策略，实现了在大规模数据集上进行高效的近似最近邻搜索。它被广泛应用于推荐系统、图像搜索、语音处理等领域，并取得了较好的效果。 ### 回答3： Annoy算法是一种用于近似最近邻搜索的高效算法。它通过将高维数据映射到低维空间中，然后使用一种快速的近似搜索技术来找到最近的数据点。 Annoy算法的核心思想是使用二叉树进行数据的划分。首先，选择一个向量作为根节点，并将其他向量分配到它的左右子节点中。然后，对每个节点递归地执行同样的操作，直到达到停止条件。在构建树的过程中，可以选择不同的划分策略，例如最大方差、ランダム划分等。 一旦树被构建完成，我们可以利用树的结构来进行近似搜索。给定一个查询向量，我们可以根据其与根节点的距离选择相应的子节点进行下一步的搜索。通过重复这个过程，直到达到叶子节点，我们可以得到一个候选的最近邻集合。最后，我们对候选集合进行进一步搜索，找到真正的最近邻。 Annoy算法在进行最近邻搜索时具有一定的误差，但是它的效率非常高。相比于准确的最近邻算法，它大大降低了计算复杂度，特别适用于大规模数据集。 总结起来，Annoy算法是一种基于二叉树的近似最近邻搜索方法。它通过将高维数据映射到低维空间中，并利用树的结构进行搜索，从而实现了高效的最近邻搜索。该算法的优势在于能够在大规模数据集上取得较好的近似结果，并且具有较低的计算复杂度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

召唤师的峡谷

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值