阿里高维向量检索方法NSG介绍

最新推荐文章于 2025-04-08 19:47:55 发布
最新推荐文章于 2025-04-08 19:47:55 发布
阅读量1.7k 收藏 9
点赞数 3
文章标签： 向量检索 NSG 大数据 推荐系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chansonzhang/article/details/107775706
版权

先贴个自己分享的ppt吧，有时间再细化
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

chansonzhang
关注
nsg 算法
jacke121的专栏
08-07 3935
  // // Created by 付聪 on 2017/6/21. // #include <efanna2e/index_nsg.h> #include <efanna2e/util.h> void load_data(char* filename, float*& data, unsigned& num,unsigned& dim){...
向量检索与 RAG 实践：关键概念、应用场景与高效索引实战
qq_38334677的博客
01-07 1593
在当代信息爆炸的时代，如何从海量数据中精准地找出与用户需求最为匹配的内容，成为了亟待解决的问题。传统的文本检索方法更多依赖于关键词匹配或基于倒排索引的策略。然而，随着自然语言处理、语义理解以及深度学习的飞速发展，越来越多的场景需要更高层次、更具语义化的检索方式。在此背景下，向量检索（Vector Search）应运而生。向量检索，本质上就是将文本、图像、音频或者更广义的高维数据用向量（通常是浮点数数组）的形式表示，并在检索阶段将待查询的数据也转化为向量，进而通过计算相似度来判断“匹配程度”的一种检索方式。
高性能高维向量的KNN搜索方案
Tester_muller的博客
08-16 985
机器学习以及深度学习中经常会使用向量表示原始数据（例如图片、视频、自然语言中的embedding等），而且通过查询词（例如图片搜索、视频搜索、词向量空间近似计算等）计算KNN是强需求。KNN算法（K近邻法）是简单常用的监督学习方法，模型简单无需训练，但是应用范围广而且变形多，近些年深度学习广泛应用于推荐系统，但是对比由KNN等基线算法，效果受到很大挑战。除了KDTree等算法之外，近些年工业界产生了大量的高性能方案，这些方案的主要特点是毫秒级延迟、可处理亿级数据、利用GPU分布式计算、可接受精度损失。...
一文让你搞懂向量数据库！结合大模型Agent，简直不要太好用（附教程）
AAI666666的博客
03-12 1499
一文让你搞懂向量数据库！结合大模型Agent，简直不要太好用（附教程）
高维向量快速检索方法Locality Sensitive Hashing之一汉明空间和欧式空间实现
weixin_34051201的博客
12-29 1513
1 高维向量检索问题 高维向量检索主要解决由数据维数增加所引发检索速度急剧下降的的问题。高维空间中数据的特点主要包括以下三个方面：(1) 稀疏性。随着维度增长，数据在空间分布的稀疏性增强；(2) 空空间现象。对于服从正态分布的数据集，当维数大约增加到10时，只有不到1％的数据点分布在中心附近；(3) 维度效应。随着维数的增加，对索引的维护效率急剧下降，并且高维空间中数据点之间的距离接近于相等。 2...
高维向量快速检索方法Locality Sensitive Hashing之三——位置敏感聚类
weixin_34037977的博客
01-01 606
1 关于位置敏感哈希的讨论 LSH主要是为了解决基本的高维向量快速搜索问题而提出的，在信息检索的各方面如图像、视频、文本、音乐和网页等都有应用。LSH的主要优点有： 用于检索时速度很快，相比于kd-tree等算法可以有几十倍的提高； 适合于动态数据集增量索引，索引结构更新的计算代价小，用于聚类时不需要对全体数据集重新聚类生成新码本。LSH的主要局限有： 耗费内存空间较大。近邻点可能分布在多个桶，...
高维向量快速检索方法Locality Sensitive Hashing之二算法改进
weixin_34124651的博客
12-31 410
位置敏感哈希是当前高维空间中近似近邻(Approximate Near Neighbor, ANN)搜索速度最快的解决方法，LSH在汉明空间进行搜索，E2LSH是对LSH的改进之一，在欧氏空间进行搜索。与基于树的索引方法相比，它们不但复杂度低、支持维数高，而且检索时间大大缩短。目前LSH在图像检索、复制检测和化学混合物搜索中都有应用。文献还将LSH作为与主成分分析(PCA)和K-Means类似的视...
AnalyticDB向量技术介绍.pdf
10-18
这些索引方法可以大幅降低高维向量的计算复杂度，提高检索速度。 3. **硬件加速**：通过SSE和GPU等硬件加速技术，AnalyticDB能显著提升处理大规模数据的速度，例如在视频检索、音频分析和人脸特征提取等场景下。 4...
万字详解：向量数据库：原理、索引技术与选型指南
最新发布
AI天才研究院
04-08 451
关键词：向量数据库、向量检索、相似性搜索、ANN算法、HNSW、量化技术、嵌入模型、多模态搜索、RAG架构摘要：本文深入剖析向量数据库的核心原理、索引技术和实际应用场景。从向量表示学习的基础概念出发，详细介绍了向量相似度计算方法、主流索引算法(如HNSW、IVF、LSH等)的工作机制，以及向量量化技术。文章对比分析了当前主流向量数据库产品的技术特点与性能表现，并提供了实际应用中的选型指南和最佳实践。同时，结合RAG架构等AI应用场景，探讨了向量数据库在多模态搜索、语义检索等领域的实际应用与未来发展趋势。随着
基于向量数据库的图像搜索技术进展
AI大模型应用之禅
06-11 1175
基于向量数据库的图像搜索技术进展 1.背景介绍 1.1 图像搜索的重要性 在互联网时代,随着数字图像数据的爆炸式增长,如何高效地检索和管理海量的图像数据成为了一个巨大的挑战。图像搜索技术应运而生,它可以帮助用户快速准确地从海量图像数据中找到
向量库（Vector Database）
寓教于乐。教己助人
02-18 1006
通过此大纲，您可以从理论到实践全面掌握向量库的核心知识，并选择合适的工具与算法解决实际问题。
NSG
03-15
NSG
hnsw 大规模向量检索
06-23
使用hnswlib完成大规模向量检索，一般用于推荐系统中item2item的相似计算，选取物品最近的K个召回结果，相关介绍参考本人博客。
高维空间向量搜索---腾讯词向量相似检索实践
macanv的专栏
08-19 1346
高维空间向量搜索—腾讯词向量相似检索实践 最近工作上遇到一些语料OOV问题，想到可以使用同义词进行替换来弥补部分OOV带来的问题，于是就有了本篇博客的相关实验。 最简单的可以使用gemsim在语料库上训练一个word2vec，然后使用gemsim自带的相似度API直接进行计算，这种方法是最简单的(不考虑内存消耗，计算时间的情况下)。但是自己的语料本身就有OOV问题，训练后，估计效果也不行，于是想到使用腾讯的语料，网上有一篇使用腾讯语料计算相似词的文章，但是只能使用公众号来请求，没有给出代码。 本文记录一下使
阿里云向量检索服务 | 全性能搜索方案
csdn565973850的博客
04-02 2491
阿里云向量检索服务 | 全性能搜索方案
发表在SIGMOD 2024上的高维向量检索/向量数据库/ANNS相关论文
whenever5225的博客
06-23 2731
SIGMOD 2024会议最近刚在智利圣地亚哥结束，有关高维向量检索/向量数据库/ANNS的论文主要有5篇，涉及混合查询（带属性或范围过滤的向量检索）优化、severless向量数据库优化、量化编码优化、磁盘图索引优化。下面对这些论文进行一个简单汇总介绍。
海量高维向量相似度快速搜索（第七届软件杯原创算法）
ccutyear的博客
09-03 6456
　　放在全文开头，这次去南京的感受。 　　这一届软件杯组委会安排的酒店很舒适，志愿者小姐姐偏多很养眼，很热心，咨询的时候讲解也很周到。早中晚三餐都很丰盛，尤其是早餐很精致。南京的景点也很多，这么多天都还没有把南京玩个遍。下面是微信群里大家感谢组委会的截图。   　　然后进入正题： 　　先简单描述一下问题： 假设如下数据集D里有N个1024维的向量, N=1百万，向量中各个维度上的数据...
13 种高维向量检索算法全解析！数据库顶会 VLDB 2021 论文作者干货分享
ZILLIZ
09-28 3108
Z 星直击学术前沿
通过阿里云【Milvus】快速实现向量检索
10-12 2190
阿里云向量检索服务Milvus版是由阿里云与Zilliz联合打造的一款全托管向量检索引擎，集成Zilliz商业版内核，并确保与开源Milvus的完全兼容性，支持无缝迁移。它在开源版本的基础上增强了可扩展性，能提供大规模AI向量数据的相似性检索服务。凭借其开箱即用的特性、灵活的扩展能力和全链路监控告警，Milvus云服务成为多样化AI应用场景的理想选择，包括多模态搜索、检索增强生成（RAG）、搜索推荐、内容风险识别等。您还可以利用开源的Attu工具进行可视化操作，进一步促进应用的快速开发和部署。
向量数据库指南
03-09
<think>嗯，用户之前问过“钧瓷婆罗门”，现在又转向“向量数据库指南”。看起来他们可能是在做某个项目或者学习过程中遇到了不同的主题。首先，我需要确定用户的需求是什么。他们可能想了解向量数据库的基本概念、应用场景，或者如何选择和使用这类数据库。 接下来，我需要考虑用户可能的背景。之前的提问涉及中国传统文化，现在转向技术性的数据库，这可能意味着用户的学习或工作领域跨度较大，或者他们正在处理一个跨学科的项目。比如，他们可能在做数据分析相关的项目，需要处理高维数据，比如图像、文本的嵌入向量，所以需要了解向量数据库。 用户可能没有明确说出他们的具体需求，比如他们是否需要比较不同的向量数据库，或者想了解如何实现一个向量数据库系统。这时候，回答需要覆盖基础知识和实用指南，同时提供资源推荐，以满足不同层次的需求。 另外，用户可能对向量数据库的优势和传统数据库的区别不太清楚，需要解释清楚为什么向量数据库在处理相似性搜索时更高效。同时，他们可能关心实际应用案例，比如推荐系统、自然语言处理中的应用，这些都需要具体说明。 还要注意用户可能存在的误区，比如认为所有数据库都适合高维数据，或者对近似最近邻算法（ANN）不太了解，需要简明扼要地解释这些概念，避免使用过多专业术语，但又足够准确。 最后，考虑到用户可能需要进一步的学习资源，提供一些开源项目、书籍和在线教程的链接会很有帮助。这样用户可以根据自己的需求深入学习和实践。</think>以下是关于**向量数据库**的详细介绍与实用指南，内容分点清晰，便于理解： --- ### 一、**向量数据库的定义** - **核心概念**： 向量数据库（Vector Database）是专门存储、检索**高维向量数据**的数据库系统，适用于人工智能场景（如文本、图像、音频的嵌入向量）。 $$ \text{向量数据} = [v_1, v_2, \dots, v_n] \in \mathbb{R}^n \quad (\text{例：BERT输出为768维向量}) $$ - **与传统数据库差异**： | **传统数据库** | **向量数据库** | |----------------|----------------| | 精确匹配（SQL查询） | 相似性搜索（如余弦相似度） | | 行/列结构化存储 | 高维向量非结构化存储 | | 适合数值/文本 | 适合AI生成的数据 | --- ### 二、**核心功能与优势** 1. **高效相似性搜索** - 支持**近似最近邻（ANN）算法**，快速在海量数据中找到相似向量。 - 算法示例： - 树型结构（KD-Tree, Ball-Tree） - 量化方法（PQ, LSH） - 图索引（HNSW, NSG） 2. **可扩展性** - 支持分布式架构，适应十亿级向量规模（如Elasticsearch + Faiss扩展）。 3. **多模态支持** - 统一处理文本、图像、视频等不同模态的向量化数据。 --- ### 三、**主流向量数据库对比** | 名称 | 特点 | 适用场景 | |------|------|----------| | **Milvus** | 开源、云原生，支持多种索引算法 | 大规模AI应用 | | **Pinecone** | 全托管服务，低延迟 | 企业级SaaS需求 | | **Weaviate** | 内置NLP模型，支持语义检索 | 知识图谱、语义搜索 | | **Qdrant** | Rust开发，高性能 | 实时推荐系统 | | **Faiss**（库） | Meta开源，需结合数据库使用 | 研究与小规模部署 | --- ### 四、**典型应用场景** 1. **推荐系统** - 通过用户行为向量匹配相似商品（例：电商平台）。 2. **自然语言处理** - 语义搜索：将问题向量与知识库匹配（例：ChatGPT的长期记忆）。 3. **图像/视频检索** - 以图搜图：提取特征向量比对（例：Google Images）。 4. **异常检测** - 对比新数据与历史正常数据向量的偏离程度。 --- ### 五、**使用指南** #### 步骤1：数据向量化 - 使用预训练模型（如ResNet-50提取图像特征，Sentence-BERT生成文本嵌入）。 ```python from sentence_transformers import SentenceTransformer model = SentenceTransformer('paraphrase-MiniLM-L6-v2') vectors = model.encode(["向量数据库指南", "什么是ANN算法？"]) ``` #### 步骤2：选择数据库与索引 - 根据数据规模选择索引（例：HNSW适用于高召回率场景）。 ```python # 使用Milvus创建索引 from pymilvus import Collection, FieldSchema, DataType collection.create_index(field_name="embedding", index_params={ "index_type": "HNSW", "metric_type": "L2", "params": {"M": 16, "efConstruction": 200} }) ``` #### 步骤3：查询优化 - **权衡精度与速度**：调整`efSearch`参数（值越大精度越高，速度越慢）。 - **过滤条件**：结合元数据筛选（如时间范围+向量相似度）。 --- ### 六、**挑战与解决方案** | 挑战 | 解决方案 | |------|----------| | 高维数据计算成本高 | 使用降维技术（PCA, UMAP） | | 数据更新频繁 | 选择支持动态更新的数据库（如Milvus 2.0） | | 多租户隔离 | 云服务分片（Pinecone专用Pod） | --- ### 七、**学习资源推荐** 1. **开源项目** - [Milvus文档](https://milvus.io/docs) - [Faiss教程](https://github.com/facebookresearch/faiss/wiki) 2. **书籍** - 《Vector Databases: A Technical Introduction》（O'Reilly） 3. **在线课程** - Coursera《Approximate Nearest Neighbor Search with Vector Databases》 --- 如需进一步探讨具体工具或场景，可提供更多上下文！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值