打造智能电影检索器：使用Pinecone与自查询功能

最新推荐文章于 2024-10-07 01:36:35 发布

stjklkjhgffxw

最新推荐文章于 2024-10-07 01:36:35 发布

阅读量181

点赞数 8

文章标签： python

本文链接：https://blog.csdn.net/stjklkjhgffxw/article/details/142290691

版权

# Pinecone与自查询功能：打造智能电影检索器

## 引言

在处理复杂数据查询时，向量数据库的出现为我们提供了更多的可能性。Pinecone作为一款功能强大的向量数据库，可以帮助我们高效地管理和查询数据。在本文中，我们将演示如何使用Pinecone结合自查询检索器（SelfQueryRetriever）来创建一个智能的电影数据库查询系统。

## 主要内容

### 创建Pinecone索引

首先，我们需要建立一个Pinecone向量存储并插入数据。在此示例中，我们准备了一组包含电影摘要的小型文档集。

### 环境配置

要使用Pinecone，首先确保安装`pinecone`包并获得API密钥。由于网络限制，某些地区的开发者可能需要使用API代理服务提高访问稳定性。

```bash
%pip install --upgrade --quiet lark
%pip install --upgrade --quiet pinecone-notebooks pinecone-client==3.2.2

连接Pinecone

from pinecone_notebooks.colab import Authenticate
import os

Authenticate()
api_key = os.environ["PINECONE_API_KEY"]

创建和填充索引

接下来，我们用OpenAIEmbeddings创建并填充索引。

from pinecone import Pinecone, ServerlessSpec
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from langchain_pinecone import PineconeVectorStore

# Set up embeddings
embeddings = OpenAIEmbeddings()
index_name = "langchain-self-retriever-demo"
pc = Pinecone(api_key=api_key)

if index_name not in pc.list_indexes().names():
    pc.create_index(
        name=index_name,
        dimension=1536,
        metric="cosine",
        spec=ServerlessSpec(cloud="aws", region="us-east-1"),
    )

# Seed with movie data
docs = [
    Document(page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose", metadata={"year": 1993, "rating": 7.7, "genre": ["action", "science fiction"]}),
    # More documents...
]
vectorstore = PineconeVectorStore.from_documents(docs, embeddings, index_name=index_name)

创建自查询检索器

我们将使用元数据字段信息和文档内容描述来实例化自查询检索器。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    # More metadata fields...
]

llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, "Brief summary of a movie", metadata_field_info, verbose=True
)

代码示例

测试检索器

以下是一些示例查询：

# 查询关于恐龙的电影
retriever.invoke("What are some movies about dinosaurs")

# 查询评分高于8.5的电影
retriever.invoke("I want to watch a movie rated higher than 8.5")

# 查询Greta Gerwig执导的关于女性的电影
retriever.invoke("Has Greta Gerwig directed any movies about women")