使用 Azure AI Search 实现大规模信息检索

Azure AI Search（之前称为 Azure Search 和 Azure Cognitive Search）是一个云搜索服务，提供基础设施、API 和工具，以支持大规模的向量、关键词和混合查询的信息检索。在这篇文章中，我们将深入探讨如何使用 Azure AI Search 完成向量检索，并结合示例代码指导大家如何在实际项目中应用。

技术背景介绍

Azure AI Search 是微软提供的云搜索服务，支持开发者进行海量数据的高效信息检索。它能够处理多种类型的查询，包括向量检索、关键词检索和混合检索，适用于各类大规模数据处理场景。

核心原理解析

Azure AI Search 通过将文本数据转化为向量形式，利用向量空间模型实现高效的相似性计算。这种方式能够在大数据集上快速找到与查询向量相近的结果，提高搜索的准确性和响应速度。

代码实现演示

下面，我们将分步骤讲解如何在 Python 中配置并使用 Azure AI Search。

1. 安装必要的库

首先，确保安装了 langchain-community 和 Azure SDK。

$ pip install -qU langchain-community
$ pip install --upgrade --quiet azure-search-documents azure-identity

2. 导入所需库

import os
from langchain_community.vectorstores.azuresearch import AzureSearch
from langchain_openai import AzureOpenAIEmbeddings, OpenAIEmbeddings

3. 配置 OpenAI 设置

如果您使用的是 OpenAI 或 Azure OpenAI，需要设置相应的 API 密钥和其它相关配置。

# 使用 OpenAI 账户
openai_api_key = "YOUR_OPENAI_API_KEY"
openai_api_version = "2023-05-15"
model = "text-embedding-ada-002"

# 或使用 Azure OpenAI 账户
azure_endpoint = "YOUR_AZURE_OPENAI_ENDPOINT"
azure_openai_api_key = "YOUR_AZURE_OPENAI_KEY"
azure_openai_api_version = "2023-05-15"
azure_deployment = "text-embedding-ada-002"

4. 配置向量存储设置

设置 Azure AI Search 的端点和密钥：

vector_store_address = "YOUR_AZURE_SEARCH_ENDPOINT"
vector_store_password = "YOUR_AZURE_SEARCH_ADMIN_KEY"

5. 创建 Embedding 和向量存储实例

# 使用 OpenAI 的 Embedding
embeddings = OpenAIEmbeddings(
    openai_api_key=openai_api_key, openai_api_version=openai_api_version, model=model
)

# 创建向量存储实例
index_name = "langchain-vector-demo"
vector_store = AzureSearch(
    azure_search_endpoint=vector_store_address,
    azure_search_key=vector_store_password,
    index_name=index_name,
    embedding_function=embeddings.embed_query,
)

6. 插入文本和执行向量相似性搜索

将文本插入向量存储，并执行相似性搜索：

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt", encoding="utf-8")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

vector_store.add_documents(documents=docs)

# 执行相似性搜索
docs = vector_store.similarity_search(
    query="What did the president say about Ketanji Brown Jackson",
    k=3,
    search_type="similarity",
)
print(docs[0].page_content)

7. 执行混合搜索

# 混合搜索示例
docs = vector_store.hybrid_search(
    query="What did the president say about Ketanji Brown Jackson", k=3
)
print(docs[0].page_content)

应用场景分析

Azure AI Search 适用于需要进行高效、精确信息检索的各种场景，例如电子商务网站的商品搜索、知识库系统的信息查询、社交媒体内容的分析等。

实践建议

• 在实现过程中，确保 API 密钥和敏感信息的安全存储。
• 结合具体业务场景充分利用 Azure AI Search 的配置选项，如自定义向量配置和评分配置。
• 定期评估搜索性能和结果准确性，优化索引和查询策略。

如果遇到问题欢迎在评论区交流。

—END—