揭秘Epsilla：高性能向量数据库的使用指南

llzwxh888

于 2024-10-07 19:37:46 发布

阅读量196

点赞数 2

文章标签：数据库 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142745026

版权

# 引言

在现代数据密集型应用中，向量数据库扮演着重要角色。Epsilla是一个开源的向量数据库，利用并行图遍历技术提供高效的向量索引功能。本文将介绍如何使用Epsilla进行向量搜索，并结合OpenAI的嵌入技术，实现强大的文本查询功能。

# 主要内容

## 1. 安装与准备

首先，我们需要安装`pyepsilla`包以及`langchain-community`库，以扩展Epsilla的功能。

```bash
!pip install pyepsilla
!pip install langchain-community

确保有一个正在运行的Epsilla实例，可以通过Docker镜像快速启动。

2. 使用OpenAI嵌入

为了生成文本嵌入，需要获取OpenAI API密钥。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

3. 文本加载与分割

使用TextLoader加载文本，并利用CharacterTextSplitter进行分段，以便更好地处理。

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
documents = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0).split_documents(documents)

4. 建立向量数据库

通过OpenAI提供的嵌入技术，将文档存储到Epsilla向量数据库中。

from langchain_community.vectorstores import Epsilla
from langchain_openai import OpenAIEmbeddings
from pyepsilla import vectordb

embeddings = OpenAIEmbeddings()
client = vectordb.Client()

vector_store = Epsilla.from_documents(
    documents,
    embeddings,
    client,
    db_path="/tmp/mypath",
    db_name="MyDB",
    collection_name="MyCollection",
)

5. 执行查询

进行相似性搜索，获取与查询最相关的文档。

query = "What did the president say about Ketanji Brown Jackson"
docs = vector_store.similarity_search(query)
print(docs[0].page_content)

代码示例

完整代码如下：

import getpass
import os
from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter
from langchain_community.vectorstores import Epsilla
from langchain_openai import OpenAIEmbeddings
from pyepsilla import vectordb

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
documents = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0).split_documents(documents)

embeddings = OpenAIEmbeddings()
client = vectordb.Client()

vector_store = Epsilla.from_documents(
    documents,
    embeddings,
    client,
    db_path="/tmp/mypath",
    db_name="MyDB",
    collection_name="MyCollection",
)

query = "What did the president say about Ketanji Brown Jackson"
docs = vector_store.similarity_search(query)
print(docs[0].page_content)