Jina AI x 开源之夏｜近似最近邻搜索算法HNSW的改进与优化

最新推荐文章于 2024-05-11 22:10:20 发布
最新推荐文章于 2024-05-11 22:10:20 发布
阅读量649 收藏 1
点赞数
文章标签： 算法 大数据 python 人工智能 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jina_AI/article/details/127525112
版权

1b7067f91311ef6deef03dda073740e8.png

Jina AI 的开源向量索引产品 AnnLite 的核心近似搜索算法是基于 HNSW 来实现，并在此基础上提供了更加丰富的功能（例如支持前置过滤近似查询）。为了使得 AnnLite 能够具备更强的竞争力和实际应用价值，我们对 HNSW 算法进行了改进和优化。

10 月 26 日晚 7:00，我们邀请到了负责本优化项目的叶坚白，来分享《近似最近邻搜索算法 HNSW 的改进与优化》。

作者介绍

叶坚白 Jina AI 开源社区 AnnLite 贡献者，本硕就读于中国科学技术大学大数据学院。 

分享项目简介

项目名称：近似最近邻搜索算法 HNSW 的改进与优化

项目描述：针对海量向量数据的搜索，无论是工业界还是学术界都做了大量的研究。由于精确的向量搜索在海量数据的场景下搜索时间过长，所以目前的常见做法，是在向量上建立近似搜索索引。学术上我们称之为近似最近邻搜索 ANN (Approximate Nearest Neighbor Search) 问题，通常都是通过牺牲搜索精度来换取时间和空间的方式，从大量样本中获取最近邻。</

最低0.47元/天 解锁文章
Jina AI
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【数据库设计】向量搜索HNSW算法优化
昆仑山上一棵草
09-09 461
数据库向量存储，向量搜索HNSW算法优化
J-Tech Talk 活动预告｜近似最近邻搜索算法 HNSW 的改进与优化
Jina AI 的博客
10-24 334
J-Tech Talk由 Jina AI 社区为大家带来的技术分享工程师们将深入细节地讲解具体的问题分享 Jina AI 在开发过程中所积累的经验针对海量向量数据的搜索，无论是工业界还是学术界都做了大量的研究。由于精确的向量搜索在海量数据的场景下搜索时间过长，所以目前的常见做法，是在向量上建立近似搜索索引。学术上我们称之为近似最近邻搜索 ANN (Approximate Nearest Neigh...
lucene hnsw merge 优化
chuanyangwang的专栏
01-20 374
优化前 hnsw在merge的时候会生成merged ordinals -> segments 和 segment ordinals. 的映射。 这种映射增加了开销 org.apache.lucene.codecs.KnnVectorsWriter.VectorValuesMerger#nextDoc public int nextDoc() throws IOException { current = docIdMerger.next(); if (curre
大数据最新ElasticSearch学习篇11_ANNS之基于图的NSW、HNSW算法(1)，大数据开发开发者必须收藏的8个开源库
最新发布
2401_84166497的博客
05-11 782
ANNS（Approximate Nearest Neighbor Search）翻译为近似最近搜索。是指在大型数据集中找到给定查询点的最近邻点。ANNS 旨在最小化计算成本并同时高效找到近似最近邻。目的：ANNS旨在高维空间中快速找到与查询点近似最近的邻居，牺牲一定的精确度以换取搜索速度的提升。原理：通过构建特定的数据结构（如基于空间划分的KD-Tree、局部敏感哈希LSH等）或使用特定的算法逻辑来减少在高维空间中搜索最近邻所需的计算量。应用场景。
HNSW-分层可导航小世界 算法学习
samoyan的博客,记录技术成长~
10-23 746
虽然K-NN方法没有显式的学习过程，但在确定新样本的类别时，需要计算新样本与每一个已知样本的距离并找出前k个近邻，这在高维度的大数据集上的计算复杂度非常高。在NSW的基础上，HNSW利用多层的图结构来完成图的构建和检索，使得通过将节点随机划分到不同的层，从上层图到下层图的检索中，越往下层节点之间的距离越近, 随机性也越差，聚类系数越高。它通过逐一比较新样本与已有样本的相似度，挑选出与新样本最接近的k个已有样本，然后根据这些样本的类别，通过投票或加权的方式来决定新样本的类别。为此，引入了分层图的概念。
HNSW算法(nsmlib/hnswlib)
u010246947的专栏
03-06 7747
一、数据结构 1、HierarchicalNSW类成员描述 成员 描述 num_deleted_ 有过删除某向量的次数。 PS：不考虑增量情况下，它不会发生影响 M_ 每个(非0层)节点可以有多少个邻居 maxM_ maxM_ = M_ maxM0_ 第0层节点可以有多少个邻居 = 2 *maxM_ ef_construction_ .
Jina Web Server-开源
04-17
Jina，一个用Java编写的用于嵌入式应用程序的小型Web服务器
Jina：由最先进的AI和深度学习驱动的云端神经搜索框架-python
06-18
《Jina：云端神经搜索框架，引领AI与深度学习的新纪元》 在现代信息技术的浪潮中，人工智能（AI）和深度学习已经成为推动技术创新的重要力量。Jina，一个由先进AI和深度学习技术驱动的云端神经搜索框架，以其独特的...
AI应用案例prompt优化工具 PromptPerfect
07-11
在当前人工智能技术飞速发展的时代，AI应用已经成为各行各业创新的重要驱动力。其中，以GPT为代表的自然语言处理模型，因其强大的语言生成能力而备受关注。然而，如何有效利用这些模型，使其更好地理解和响应用户的...
Python库 | streamlit-jina-0.1.1.tar.gz
03-10
今天我们将深入探讨一个名为"streamlit-jina-0.1.1.tar.gz"的压缩包，它融合了两个强大的Python库——Streamlit和Jina，为数据可视化和人工智能（AI）处理带来了全新的解决方案。 Streamlit是一个开源库，专为创建...
Python库 | jina-2.0.0rc5.dev22.tar.gz
03-06
对于非结构化的数据，Jina使用了先进的近似最近邻（Approximate Nearest Neighbor, ANN）算法，如HNSW、Annoy和Faiss，这些算法能够在大规模数据集上高效地查找相似项。此外，Jina还支持多种匹配度度量，如余弦...
Algorithm-HNSW.Net.zip
09-17
Algorithm-HNSW.Net.zip,基于层次导航小世界图的近似近邻搜索c库,算法是为计算机程序高效、彻底地完成任务而创建的一组详细的准则。
hnsw 大规模向量检索
06-23
使用hnswlib完成大规模向量检索，一般用于推荐系统中item2item的相似计算，选取物品最近的K个召回结果，相关介绍参考本人博客。
instant-distance:基于HNSW索引的Rust快速近似最近邻居搜索
03-19
即时距离：快速HNSW索引 实例距离是Malkov和Yashunin对的一种快速的纯锈实现，用于查找近似最近的邻居。此实现将为用于单词矢量索引的后端服务提供动力。
hnswlib,基于层次导航小世界图的近似近邻搜索java库.zip
10-11
用于近似近邻搜索的分层可导航小世界图（HNSW）算法的Java实现。
HNSW算法的Rust实现 (Malkov -Yashunin)
06-11
功能: 标准数值类型向量的常用距离为 L1、L2、余弦、Jaccard、Hamming。 概率分布（f32 和 f64）之间的 Hellinger 距离和 Jeffreys 散度。必须注意的是，Jeffreys 散度（对称的 Kullback-Leibler 散度）不满足三角不等式。（没有余弦距离！）。 概率分布（f32 和 f64）之间的 Jensen-Shannon 距离。它被定义为 Jensen-Shannon 散度的平方根，是一个有界度量。参见Nielsen F. in Entropy 2019, 21(5), 485 u16 上的 Levenshtein 距离。 使用户能够实现自己的距离的特征。它将满足 T:Serialize+Clone+Send+Sync 的类型 T 的数据切片作为数据切片。也可以使用 C 外部函数或闭包。 一个面向 C 的接口，更具体地说是Julia语言的接口。请参阅配套的 Julia 包HnswAnn.jl和构建段落以获得对 Julia 用户的一些帮助。 多线程插入和搜索请求。 转储和重新加载函数（参见模块 hnswio）在
【推荐系统】向量召回算法 HNSW
To Be A Coder
03-08 2438
在推荐和搜索场景下，召回recall是一个关键的步骤，这个步骤通常需要在海量的目标中，召回部分与用户特征相近的item，所以有一个快速，并且准去的算法是非常有必要的，HNSW(Hierarchical Navigable Small World)就是其中一种方法，当然HNSW也不止用于此。 对于召回的场景下，每个需要进行召回的item已经用户的特征都是多维的，在多个特征维度的空间中，找到与用户特征最相近的topK。所以召回的问题其实可以抽象化为在多维空间中，找到与某个点邻近的topK个点。 HNSW(H.
倒排索引在亿级向量数据近似最近邻搜索下的优势（IVF-HNSW）
whenever5225的博客
04-03 2647
个人主页 简介 论文题目：Revisiting the inverted indices for billion-scale approximate nearest neighbors，2018年发表在ECCV会议上。论文在分析inverted index在大规模数据上的优势（vs. IMI）并借助proximity graph （HNSW）缓解其不足，在billion-scale数据上实现更优ANNS。 主要内容 提出grouping和pruning策略优化inverted index，提升压缩精度和查询
大数据学习笔记3-近邻搜索
kokoFan11的博客
05-05 384
1.集合的Jaccard相似度 集合S和T的Jaccard相似度为|S∩T|/|S∪T|，交集除以并集。SIM(S, T)          如上图所示，SIM(S, T) = 3/8  2. 文档的Shingling 文档的k-Shingle定义为其中任意长度为k的子串。         k值的选择依赖于文档的典型长度以及典型的字符表大小。         k值应该选的足够大
如何搭建jina搜图
05-24
要搭建 Jina 搜图，需要遵循以下步骤： 1. 安装 Jina 首先，你需要安装 Jina。你可以通过 pip 安装它： ``` pip install jina ``` 2. 准备数据 接下来，你需要准备一些数据，以便 Jina 可以对其进行搜索。数据可以是图像、文本或任何其他类型的数据。你需要将这些数据存储在一个文件夹中。 3. 编写 Flow 使用 Jina 搜图的核心是创建一个流程（Flow）。流程定义了如何处理和搜索数据。你可以使用 Jina 的 Python API 来定义流程。 例如，要创建一个简单的流程，可以使用以下代码： ```python from jina import Flow f = Flow().add(name='my_encoder', uses='jinahub+docker://MyAwesomeEncoder') ``` 在这个示例中，我们定义了一个流程，它使用名为 `my_encoder` 的编码器，并从 `jinahub` 中下载 Docker 镜像。 4. 运行 Flow 在定义了流程后，你可以使用以下命令运行它： ``` f.run() ``` 这将启动流程，并开始处理和搜索数据。 5. 搜索数据 一旦流程启动，你可以使用 Jina 的客户端 API 来搜索数据。例如，要搜索一个图像，可以使用以下代码： ```python from jina import Client, Document client = Client() image = Document(uri='path/to/image.jpg') response = client.search(inputs=[image]) ``` 在这个示例中，我们定义了一个 Jina 客户端，并搜索了一个名为 `image.jpg` 的图像。 这些是搭建 Jina 搜图的基本步骤。你可以根据自己的需求和数据类型来进一步定制和优化流程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值