探索BagelDB：AI数据的开源向量数据库平台

最新推荐文章于 2024-09-27 17:41:46 发布

sjufgwgfhoia

最新推荐文章于 2024-09-27 17:41:46 发布

阅读量313

点赞数 3

文章标签：人工智能数据库 python

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142409107

版权

引言

在数据驱动的AI世界中，如何高效管理和使用海量数据是一个关键问题。BagelDB如同AI领域的GitHub，为用户提供了一个创建、共享和管理向量数据集的协作平台。本文将深入探讨如何使用BagelDB，帮助开发者利用这一工具最大化其潜力。

主要内容

安装与设置

首先，需要安装BagelDB相关的包：

pip install betabageldb langchain-community

从文本创建向量存储

BagelDB支持从文本创建向量存储（VectorStore）。以下是一个简单的示例：

from langchain_community.vectorstores import Bagel

texts = ["hello bagel", "hello langchain", "I love salad", "my car", "a dog"]

# 创建群集并添加文本
cluster = Bagel.from_texts(cluster_name="testing", texts=texts)

利用API进行相似性搜索

通过API进行相似性搜索可以查找与查询文本最相似的文档：

# 相似性搜索
cluster.similarity_search("bagel", k=3)

# 带分数的相似性搜索，分数越低越好
cluster.similarity_search_with_score("bagel", k=3)

从文档创建向量存储

除了文本，BagelDB还支持从文档创建向量存储：

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)[:10]

# 创建群集
cluster = Bagel.from_documents(cluster_name="testing_with_docs", documents=docs)

检索群集中的所有文本或文档

可以检索群集中的所有内容来查看存储的文本或文档：

cluster_data = cluster.get()
print(cluster_data)

使用元数据创建群集并过滤

可以为文本添加元数据，并基于元数据进行过滤：

texts = ["hello bagel", "this is langchain"]
metadatas = [{"source": "notion"}, {"source": "google"}]

cluster = Bagel.from_texts(cluster_name="testing", texts=texts, metadatas=metadatas)
cluster.similarity_search_with_score("hello bagel", where={"source": "notion"})

代码示例

下面是一个完整的代码示例：

from langchain_community.vectorstores import Bagel

# 使用API代理服务提高访问稳定性
texts = ["hello bagel", "this is langchain"]
metadatas = [{"source": "notion"}, {"source": "google"}]

cluster = Bagel.from_texts(cluster_name="testing", texts=texts, metadatas=metadatas)
results = cluster.similarity_search_with_score("hello bagel", where={"source": "notion"})
print(results)

cluster.delete_cluster()