DB之VDB：向量数据库（Vector Database）的简介、常用库(Chroma/FAISS/Elasticsearch/Milvus/LanceDB/PGVector等)、使用方法之详细攻略

已于 2025-01-12 21:25:29 修改
阅读量2.5k 收藏 16
点赞数 6
分类专栏： DataScience BigData/Cloud Computing 成长书屋 文章标签： 基础大模型 向量数据库
于 2023-02-18 23:24:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41185868/article/details/129106195
版权
本文介绍了向量数据库的核心技术，对比了向量数据库与传统关系型数据库的区别，并重点讨论了FAISS和Chroma的特性。向量数据库用于非结构化数据的复杂语义匹配，而FAISS适合大规模处理，Chroma则易于快速搭建。还列举了Chroma和FAISS的使用方法及向量数据库的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DB之VDB：向量数据库（Vector Database）的简介、常用库(Chroma/FAISS/Elasticsearch/Milvus/LanceDB/PGVector等)、使用方法之详细攻略

目录

向量数据库的简介

1、向量数据库的核心技术

DB之VDB：基于LangChain解决知识向量数据库(RAG场景)中局部旧知识更新的问题—痛点、需求、解决方案、实战、优缺点

2、对比：向量数据库(非结构化+复杂语义匹配)、传统关系型数据库(结构化+关系型)

3、向量数据库对比

(1)、FAISS(2017年Facebook AI ，处理大规模+使用复杂)、Chroma(2023年6月，只支持CPU计算+可快速搭建)

(2)、Elasticsearch、Milvus

向量数据库的常用库

1、本地向量数据库：Chroma、FAISS、Elasticsearch、Milvus、LanceDB、PGVector

VDB之Chroma：Chroma/chromadb(一款优秀的向量数据库)的简介、安装、使用方法之详细攻略

VDB之Faiss：Faiss(大规模向量相似度高效检索库)的简介、安装、使用方法之详细攻略

LLMs之VDB：Elasticsearch的简介、安装和使用方法、案例应用之详细攻略

LLMs之VDB：LanceDB的简介、安装和使用方法、案例应用之详细攻略

2、联网向量数据库：Zilliz等

向量数据库的使用方法

1、基于LangChain框架

LLMs之KBQA之VDB：基于LangChain解决知识向量数据库(RAG场景)中局部旧知识更新的问题—痛点、需求、解决方案(提出基于对比文档哈希值的增量更新机制)、实战、优缺点

向量数据库的简介

        向量数据库是专门用来

了解本专栏 订阅专栏 解锁全文
开源矢量数据库的全面比较 Chroma、Milvus、Faiss 和 Weaviate 矢量数据库之间的比较
iCloudEnd的博客
04-25 798
矢量数据库是一种将数据存储为高维矢量的数据库，高维矢量是特征或属性的数学表示。每个向量都有一定数量的维度，其范围可以从数十到数千，具体取决于数据的复杂性和粒度。向量通常是通过对原始数据（例如文本、图像、音频、视频等）应用某种变换或嵌入函数来生成的。嵌入函数可以基于各种方法，例如机器学习模型、词嵌入和特征提取算法。矢量数据库的主要优点是它允许根据矢量距离或相似性快速准确地搜索和检索数据。
VDB之Faiss：利用Faiss工具实现检索相似向量TopK的三步流程详解(创建向量库→构建索引并将向量库中的向量添加到索引中→利用k最近邻搜索找出TopK的相似query)及其代码实现之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-17 1286
​ VDB之Faiss：利用Faiss工具实现检索相似向量TopK的三步流程详解(创建向量库→构建索引并将向量库中的向量添加到索引中→利用k最近邻搜索找出TopK的相似query)及其代码实现之详细攻略 目录 利用Faiss工具实现检索相似向量TopK的三步流程详解及其代码实现 利用Faiss工具实现检索相似向量TopK的三步流程详解及其代码实现 # 1、创建向量库：利用numpy自定义实现xb数据库、xq查询向量 ''' 获取一些数据 Faiss处理具有固定维度d的向量集合，通常是几十到几百。
向量数据库（Vector DB）
weixin_43156294的博客
02-23 1087
向量数据库的起源可以追溯到十多年前，当时深度神经网络快速发展，对非结构化和高维数据的处理需求不断增加，向量搜索技术也随之发展和优化。Facebook开源的FAISS插件库是早期向量数据库的代表，主要应用于推荐系统等相似性推荐领域。随着向量检索需求的增长，一些标准化数据库产品开始集成向量特性，如Elastic Search、PostgreSQL和Redis等，但在性能和适用场景上存在局限性。ChatGPT等大规模语言模型的爆火，让向量数据库成为AI领域的焦点，在机器学习和大模型预训练中发挥出得天独厚的优势。
打造RAG系统：四大向量数据库Milvus、Faiss、Elasticsearch、Chroma 全面对比与选型指南
weixin_41645791的博客
12-28 7269
Milvus是一个开源的云原生向量数据库，由 Zilliz 开发和维护。Milvus 专为处理超大规模向量数据而设计，提供高效的相似性搜索和非结构化数据管理功能。它支持多种索引类型，如 IVF、HNSW 等，能够在不同应用场景中实现最佳性能。Faiss（Facebook AI Similarity Search）是由 Meta（前 Facebook）开发的开源库，专注于高效的相似性搜索和密集向量聚类。Faiss 支持搜索任意大小的向量集，尤其在高维向量空间中表现出色，广泛应用于推荐系统、图像检索等领域。
faiss VS ChromaDB
cancer_s的博客
11-25 1025
ChromaDB 适用于需要快速、可扩展的时间序列数据存储和查询的各种应用，如监控系统、物联网、金融市场数据分析等。ChromaDB 是一个开源的、基于 Python 的数据库，专门用于存储和查询时间序列数据。它是由 MongoDB 的创造者开发的一个高性能、可扩展的解决方案，适用于需要处理大规模时间序列数据的场景。faiss 的核心优势在于它为高维向量空间中的数据提供了快速的近似最近邻搜索（ANNS）算法，这对于推荐系统、信息检索、图像和视频分析等应用非常重要。
开源向量数据库比较：Chroma, Milvus, Faiss,Weaviate
deephub
04-25 8467
向量数据库是一种将数据存储为高维向量的数据库，高维向量是特征或属性的数学表示。每个向量都有一定数量的维度，根据数据的复杂性和粒度，可以从数十到数千不等。向量通常是通过对原始数据(如文本、图像、音频、视频等)应用某种转换或嵌入函数来生成的。嵌入函数可以基于各种方法，如机器学习模型、词嵌入和特征提取算法。向量数据库的主要优点是，它允许基于数据的向量距离或相似性进行快速和准确的相似性搜索和检索。
VDB：具有动态拓扑的高分辨率稀疏体积 VDB: High-Resolution Sparse Volumes with Dynamic Topology 论文阅读笔记
hijackedbycsdn的博客
02-04 861
我们的“VDB”之所以如此命名，是因为它是一个体积 Volumetric 动态 Dynamic 网格，与 B+ 树共享多个特征，利用时变数据的空间一致性来单独、紧凑地编码数据值和网格拓扑。VDB 模拟了一个几乎无限的 3D 索引空间，允许对高分辨率的稀疏卷进行高速缓存一致和快速的数据访问。它对体数据的稀疏性没有拓扑限制，并且在插入、检索或删除数据时支持快速（平均 O(1)）随机访问模式。这与大多数现有的稀疏体积数据结构形成鲜明对比，后者采用静态或流形拓扑，并需要特定的数据访问模式来补偿缓慢的随机访问。
#AIGC##VDB# 【一篇入门VDB】矢量数据库-从技术介绍到选型方向
weixin_45312236的博客
01-15 1547
矢量数据库，为复杂数据应用铺开未知领域。无论是语义搜索、推荐引擎还是人工智能，它在高效处理高维数据、改进搜索和提升机器学习集成等方面发挥关键作用。探索矢量数据库，解锁数据的全新可能性。
VDB: High-Resolution Sparse Volumes with Dynamic Topology
qq_40268190的博客
03-03 1407
文章目录VDB的特征VDB的数据结构直接访问位掩码叶节点中间节点根节点![在这里插入图片描述](https://img-blog.csdnimg.cn/202103031030030.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMjY4MTkw,size_16,color_FFFFFF,t_70)节点的组合方法优化方法   VDB是
大模型笔记(四)：向量库/检索召回的不同方式-Chroma/FAISS
m0_47738450的博客
08-27 2452
填入你的api_key，如果是中转api，还需要base_url。不同类型文件导入。
VDB之Chroma：Chroma/chromadb(一款优秀的向量数据库)的简介、安装、使用方法之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-13 1万+
​ VDB之Chroma：Chroma/chromadb(一款优秀的向量数据库)的简介、安装、使用方法之详细攻略 目录 相关文章 chroma的简介 chroma的安装 chroma的使用方法 相关文章 DB之VDB：向量数据库（Vector Database）的简介、常用库、使用方法之详细攻略 https://yunyaniu.blog.csdn.net/article/details/129106195 chroma的简介 2023年4月，Chroma获得1800
vDB：编写一个简单的nosql数据库并了解该数据库的一些基础实现
02-03
vDB：编写一个简单的nosql数据库并了解该数据库的一些基础实现
LLMs之VDB之Elasticsearch：基于Elasticsearch向量数据库工具中的ElasticsearchRetriever对比多种不同搜索方法并构建RAG系统—基于本地Docker开
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-27 290
​ LLMs之VDB之Elasticsearch：基于Elasticsearch向量数据库工具中的ElasticsearchRetriever对比多种不同搜索方法并构建RAG系统—基于本地Docker开启Elasticsearch服务(与Elasticsearch集群交互)→定义数据/创建索引/向量化并索引到Elasticsearch中→对比不同的检索方法(向量搜索/BM25搜索/混合搜索/模糊匹配/复杂过滤)→自定义文档映射器→结合GPT-4o构建RAG系统 目录 基于Elasticsearch向量
如何解决umount: /dev/vdb1: not mounted？
刘杨造梦的博客
12-06 1514
今天在使用mount和unmount的时候经常会出现not mount.mkfs.vfat /dev/vdb1 (fat32分区)mkfs.ext4 /dev/vdb1 (Linux分区)mkfs.ntfs /dev/vdb1 (NTFS分区)以下的命令：（根据自己设置的磁盘格式进行选择）然后格式化之后，在进行挂载与卸载就可以了。原因：这里是没有对新建的磁盘进行格式化。
LLMs之VDB之Elasticsearch：基于Elasticsearch向量数据库的ElasticsearchCache缓存策略来实现持久化缓存(避免重复提问相同或类似的问题)——开启服务并配置E
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-27 244
​ LLMs之VDB之Elasticsearch：基于Elasticsearch向量数据库的ElasticsearchCache缓存策略来实现持久化缓存(避免重复提问相同或类似的问题)——开启服务并配置ElasticsearchCache(配置Elasticsearch服务地址和索引名称)→设置缓存→从缓存中查询→如果缓存中没有答案则调用GPT-4模型生成答案→缓存答案→测试两次查询(第1次查询调用GPT-4并缓存结果/第2次查询相同问题+从缓存中直接返回结果) 目录 基于Elasticsearch向量
elasticsearch
itwxming的博客
07-24 484
cluster：代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。 shards：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索...
Chroma 和 FAISS 向量数据库对比
最新发布
陈开心的博客
03-31 577
向量数据库（FAISS / Chroma） → 负责存储和管理向量数据 VectorStoreIndex → 负责索引、组织、检索，封装了一层语义搜索逻辑
高效相似度搜索：FAISS与ChromaDB的比较与应用
qq_28704101的博客
07-18 2660
本文将介绍两种广泛使用的工具：FAISS和ChromaDB，探讨它们的核心功能、应用场景以及如何选择适合你的项目。与FAISS不同，ChromaDB不仅仅是一个搜索库，它提供了全面的数据库功能，包括数据存储、管理和复杂查询。选择FAISS：如果你的应用主要关注高效的向量相似度搜索，尤其是在需要利用GPU加速的大规模数据环境中，FAISS是理想的选择。选择ChromaDB：如果你需要一个全面的数据库解决方案，支持复杂查询、元数据管理和分布式处理，那么ChromaDB更加适合。
mkfs.xfs: cannot open /dev/vdb: Device or resource busy
12-08
这个错误通常是由于设备正在使用而无法格式化造成的。您可以尝试以下几种方法来解决这个问题： 1. 确保您正在尝试格式化正确的设备。您可以使用命令`lsblk`来查看所有可用的设备。 2. 确保您没有在使用该设备。您可以使用命令`lsof /dev/vdb`来查看哪个进程正在使用该设备。 3. 如果您确定没有进程在使用该设备，您可以尝试卸载该设备并重新挂载它。您可以使用命令`umount /dev/vdb1`来卸载设备，然后使用`mount /dev/vdb1 /mnt`来重新挂载它。 4. 如果您仍然无法格式化该设备，您可以尝试重启系统并再次尝试格式化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个处女座的程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值