初识Momento Vector Index (MVI)：无服务器向量索引的新选择

最新推荐文章于 2024-10-01 13:54:47 发布

afTFODguAKBF

最新推荐文章于 2024-10-01 13:54:47 发布

阅读量419

点赞数 5

文章标签： serverless python 云原生

本文链接：https://blog.csdn.net/afTFODguAKBF/article/details/142410788

版权

引言

在数据分析和人工智能模型中，向量索引是一个关键组件。Momento Vector Index (MVI) 提供了一种高效且易于使用的无服务器向量索引方式，帮助开发者快速地将数据转变为可查询的格式。本文将介绍如何开始使用MVI，并展示如何利用它来高效索引和查询数据。

主要内容

安装和设置

首先，需要安装必要的软件包：

%pip install --upgrade --quiet momento langchain-openai langchain-community tiktoken

安装完成后，使用以下方法输入API密钥：

import getpass
import os

# Momento 用于数据索引
os.environ["MOMENTO_API_KEY"] = getpass.getpass("Momento API Key:")

# OpenAI 用于文本嵌入
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

加载与预处理数据

接下来，我们需要加载数据。以下示例使用Langchain的文本加载器和文本分割器：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import MomentoVectorIndex
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()

# 将数据分割为多个小块
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

数据索引

使用MomentoVectorIndex进行数据索引非常简单：

vector_db = MomentoVectorIndex.from_documents(
    docs, OpenAIEmbeddings(), index_name="sotu"
)

通过上述方法，你的文档数据已经被索引并可以通过API进行查询。

数据查询

通过VectorStoreAPI可以直接对索引数据进行查询：

query = "What did the president say about Ketanji Brown Jackson"
docs = vector_db.similarity_search(query)

使用LLM生成流畅回答：

from langchain.chains import RetrievalQA
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-3.5-turbo", temperature=0)
qa_chain = RetrievalQA.from_chain_type(llm, retriever=vector_db.as_retriever())

response = qa_chain({"query": "What did the president say about Ketanji Brown Jackson?"})