探索ScaNN：高效的向量相似性搜索方法

最新推荐文章于 2024-12-07 13:27:41 发布
最新推荐文章于 2024-12-07 13:27:41 发布
阅读量574 收藏 4
点赞数 4
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142721619
版权

探索ScaNN：高效的向量相似性搜索方法

引言

在大数据时代，如何快速有效地进行向量相似性搜索成为了一个挑战。ScaNN（Scalable Nearest Neighbors）是一种旨在大规模实现向量相似性搜索的方法。本文将介绍ScaNN的基本概念、如何使用及其潜在的挑战，并提供实用的代码示例，以帮助开发者更好地理解和应用ScaNN。

主要内容

什么是ScaNN？

ScaNN是一种专为大规模数据集设计的近邻搜索方法，支持最大内积搜索（Maximum Inner Product Search），同时兼容其他距离函数如欧几里得距离。其实现针对支持AVX2的x86处理器进行了优化。

如何安装ScaNN

要使用ScaNN，可以通过pip安装：

%pip install --upgrade --quiet scann

或者您可以参考ScaNN官方网站获取源码安装指导。

使用ScaNN进行检索

下面是如何结合Huggingface Embeddings使用ScaNN的示例：

from
最低0.47元/天 解锁文章
ahdfwcevnhrtds
关注
揭开 ScaNN 的神秘面纱：高效的向量相似性搜索
谷歌开发者
08-12 4150
文 / 软件工程师 Philip Sun，Google Research人们要从大量的文学作品中进行搜索，一般需要使用与标题、作者或其他易于机器索引的标准完全匹配的查询条件。那么使用 S...
[深入探索ScaNN：大规模向量相似度搜索的高效实现]
akhfuiigabv的博客
10-12 568
ScaNN是一款由Google Research开发的工具，专为大规模向量搜索设计。它引入了搜索空间剪枝和量化技术来加速内积最大化搜索，同时支持其他距离函数如欧氏距离等。ScaNN的实现针对支持AVX2的x86处理器进行了优化。ScaNN是处理大规模向量搜索任务的强大工具。通过结合如Langchain和Huggingface等工具，可以实现高效且准确的检索系统。想要深入学习，请参考Google Research的ScaNN GitHub仓库。
翻译: ScaNN：高效向量相似性搜索
AI架构师易筋
02-06 1970
假设一个人想要使用需要完全匹配标题、作者或其他易于机器索引的标准的查询来搜索大型文学作品数据集。这样的任务非常适合使用 SQL 等语言的关系数据库。但是，如果想要支持更抽象的查询，例如“内战诗歌”，则不再可能依赖简单的相似性指标，例如两个短语之间的共同词数。例如，查询“科幻小说”与“未来”的相关性比与“地球科学”的相关性更高，尽管前者有 0，而后者有 1，与查询相同的词。 机器学习 (ML) 极大地提高了计算机理解语言语义并因此回答这些抽象查询的能力。现代 ML 模型可以将文本和图像等输入转换为嵌入、高维向
一致代价搜索_谷歌工程师发布最新技术ScaNN：可实现高效的向量相似性搜索
weixin_39915605的博客
12-18 502
假设一个人想要使用要求标题，作者或其他易于机器索引的精确匹配的查询条件来搜索庞大的文学作品数据集，而这样的任务恰恰非常适合使用SQL之类的关系数据库。但是，如果要支持更多的抽象查询，例如“南北战争诗”，就不再可能依赖简单的相似性度量标准，例如两个短语之间的共同词数。例如，查询“科幻小说”与“未来科学”的关系比与“地球科学”的关系，尽管与前者有相同的词，但前者的词组却不匹配。机器学习（ML）大大提高...
探索ScaNN：高效向量相似搜索的利器
jaioyfpo的博客
11-10 373
ScaNN是目前为止最为高效的相似性搜索工具之一，结合最新的深度学习模型可以完成许多复杂的任务。ScaNN官方文档Vector store概念指南。
深入了解ScaNN：高效向量相似性搜索的利器
nseejrukjhad的博客
10-02 522
ScaNN是一个高效且灵活的工具，特别适用于需要大规模处理向量相似性搜索的应用。ScaNN论文Langchain 文档。
Scanner的使用
MnLa的博客
03-19 189
Scanner对象 java.util.Scanner是Java5的新特性，我们可以通过Scanner类来获取用户的输入。 基础语法： Scanner scanner = new Scanner(System.in); 通过Scanner类的**next()与nextLine()**方法获取输入的字符串， 在读取钱我们一般需要使用 ...
应用Scanner方法
DJyzh的博客
08-10 382
应用Scanner类 Scanner类的功能：可以实现键盘输入数据，到程序当中。 1.创建 类名称 对象名 = new 类名称(); 2.使用 对象名.成员方法名() 获取键盘输入的一个int数字：int num = sc.nextInt(); 获取键盘输入的一个字符串：String str = sc.next(); 创建对象的标准格式： 类名称 对象名 = new 类名称(); 1.用Sca...
使用ScaNN实现高效的相似度搜索：从入门到实战
dfvcbipanjr的博客
12-07 418
ScaNN是一款功能强大的相似度搜索工具，结合其他AI工具可以实现功能强大的应用。你可以进一步了解ScaNN的官网以及Langchain-Community的资源来拓展你的知识。
使用 ScaNN 进行高效检索以进行检索 7使用 TensorFlow 构建推荐系统 Efficient serving with ScaNN for retrieval
AI架构师易筋
02-06 1115
References Efficient serving with ScaNN https://www.tensorflow.org/recommenders/examples/efficient_serving ScaNN repository https://github.com/google-research/google-research/tree/master/scann Google Al blog on ScaNN https://ai.googleblog.com/2...
[深入了解ScaNN：高效近邻搜索的秘密武器]
jaioyfpo的博客
10-16 575
ScaNN通过搜索空间剪枝和量化来优化最大内积搜索，支持欧氏距离等其他距离函数。其实现针对支持AVX2的x86处理器进行优化。开发者可以通过 ScaNN 的GitHub了解更多详细信息。ScaNN提供了一种高效的向量相似性搜索方法，适用于大规模数据集的处理。Vector Store指南。
pymilvus创建IVF_ScaNN向量索引
shulu的专栏
04-09 637
索引的作用是加速大型数据集上的查询。目前，向量字段仅支持一种索引类型，即只能创建一个索引。milvus支持的向量索引类型大部分使用近似最近邻搜索算法(ANNS,approximate nearest neighbors search)。ANNS 的核心思想不再局限于返回最准确的结果，而是仅搜索目标的邻居。ANNS 通过在可接受的范围内牺牲准确性来提高检索效率。
远超 IVF_FLAT、HNSW，ScaNN 索引算法赢在哪？
ZILLIZ
02-27 690
Milvus 从 2.3 版本开始，在 Knowhere 中支持了 ScaNN 算法，在各项 benchmark 中有着不俗的表现。例如，在 Cohere 数据集 Recall 约 95% 的时候，使用 Knowhere 2.x 版本端到端的 QPS 是 IVF_FLAT 的 7 倍，HNSW 的 1.2 倍。Faiss 实现的 ScaNN，又名 FastScan，它使用更小的 PQ 编码和相应的指令集，可以更为友好地访问 CPU 寄存器，展示出优秀的索引性能。
如何选择最佳的最近邻算法
deephub
12-06 3644
介绍一种通过数据驱动的方法，在自定义数据集上选择最快，最准确的ANN算法 人工神经网络背景 KNN是我们最常见的聚类算法，但是因为神经网络技术的发展出现了很多神经网络架构的聚类算法，例如 一种称为HNSW的ANN算法与sklearn的KNN相比，具有380倍的速度，同时提供了99.3％的相同结果。 为了测试更多的算法，我们整理了几种ANN算法，例如 Spotify’s ANNOY Google’s ScaNN Facebook’s Faiss HNSW（Hierarchical Navigable Sm
ElasticSearch学习篇11_ANNS之基于图的NSW、HNSW算法(1)
2401_84181986的博客
04-27 1261
乘积量化（Product Quantization）简称 PQ。是和VLAD算法由法国INRIA实验室一同提出来的，为的是加快图像的检索速度，所以它是一种检索算法。现有的检索算法存在一些弊端，如 kd树不适合维度高的数据，哈希（LSH）适用中小数据集，而乘积量化这类方法，内存占用更小、数据动态增删更方便。基本思路就是聚类、量化压缩向量维度，提升检索速率。
前景检测算法-SACON（SAMPLE CONSENSUS）
soul519的专栏
12-26 901
SACON是Hanzi Wang and David Suter合作完成的一篇论文《Background subtraction based on a robust consensu method>>里的算法。乍看之下，算法思路很简单，后来的大作VIBE算法似乎与其有异曲同工之妙。废话少说，下面来简单介绍下该算法：      （1）建立背景模型            文章中背景模型的建立比较简
《向量数据库指南》——AI原生向量数据库Milvus Cloud 2.3 新功能ScaNN 索引和Iterator
实战AI智能体
09-07 499
Milvus 目前支持了 Faiss 中的 FastScan 算法，在各项 benchmark 中有着不俗的表现，对比 HNSW 有 20% 左右提升，约为 IVFFlat 的 7 倍，同时构建索引速度更快。ScaNN 在算法上跟 IVFPQ 比较类似，聚类分桶，然后桶里的向量使用 PQ 做量化，区别是 ScaNN 对于量化比较激进，搭配上 SIMD 计算效率较高，但是精度损失会比较大，需要有原始向量做 refine 的过程。Milvus 的 CDC 代码在。
使用ScaNN进行高效的向量相似性检索：从入门到精通
mmlihaio的博客
10-30 348
通过本文介绍的方法，您可以深入理解和使用ScaNN进行高效的向量相似性检索。ScaNN GitHub 项目Hugging Face Embeddings 文档。
除了faiss还有哪些？
最新发布
02-27
ScaNN 是谷歌开发的一个高性能向量相似性搜索库，专为云端部署而设计。它能够在保持较低延迟的同时实现极高的吞吐率，非常适合在线服务环境下的实时推荐系统等应用场景。 ```python import scann dataset = np....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值