[深入Azure Cosmos DB NoSQL：实现高效向量搜索的指南]

最新推荐文章于 2024-11-01 12:20:35 发布

qq_37836323

最新推荐文章于 2024-11-01 12:20:35 发布

阅读量330

点赞数 4

文章标签：数据库 azure nosql python

本文链接：https://blog.csdn.net/qq_29929123/article/details/142677841

版权

引言

在现代AI应用中，向量搜索是一个关键功能。Azure Cosmos DB现已支持NoSQL向量索引，这使得开发者可以在数据库中存储高维向量并进行高效搜索。本文旨在介绍如何利用Azure Cosmos DB NoSQL进行向量搜索，以实现快速、精确地查找与查询向量最接近的文档。

主要内容

向量搜索的基本概念

向量搜索的核心在于通过向量距离（如余弦距离、欧几里得距离）来确定文档与查询向量的相似度。Azure Cosmos DB为这一任务提供了直接存储和索引高维向量的能力。

Azure Cosmos DB NoSQL向量索引的优势

快速响应：凭借单毫秒级的响应时间，可以满足高性能需求。
横向扩展：自动和即刻可用的扩展性能，适应不同时期的工作负载变化。
内置向量搜索：无需额外工具即可进行高效搜索。

代码示例

让我们通过一个具体的例子来看看如何在Azure Cosmos DB NoSQL中实现向量搜索。

# 安装所需的库
%pip install --upgrade --quiet azure-cosmos langchain-openai langchain-community

from azure.cosmos import CosmosClient, PartitionKey
from langchain_community.vectorstores.azure_cosmos_db_no_sql import AzureCosmosDBNoSqlVectorSearch
from langchain_openai import AzureOpenAIEmbeddings

# 配置Azure Cosmos DB和OpenAI
HOST = "AZURE_COSMOS_DB_ENDPOINT"
KEY = "AZURE_COSMOS_DB_KEY"
cosmos_client = CosmosClient(HOST, KEY)
database_name = "langchain_python_db"
container_name = "langchain_python_container"
partition_key = PartitionKey(path="/id")

# 设置向量索引策略
indexing_policy = {
    "indexingMode": "consistent",
    "includedPaths": [{"path": "/*"}],
    "vectorIndexes": [{"path": "/embedding", "type": "quantizedFlat"}],
}

vector_embedding_policy = {
    "vectorEmbeddings": [
        {
            "path": "/embedding",
            "dataType": "float32",
            "distanceFunction": "cosine",
            "dimensions": 1536,
        }
    ]
}

# 初始化向量搜索
openai_embeddings = AzureOpenAIEmbeddings(
    azure_deployment="text-embedding-ada-002",
    api_version="2023-05-15",
    azure_endpoint="YOUR_ENDPOINT",
    openai_api_key="YOUR_KEY",
)

# 插入文档及其嵌入
vector_search = AzureCosmosDBNoSqlVectorSearch.from_documents(
    documents=docs,
    embedding=openai_embeddings,
    cosmos_client=cosmos_client,
    database_name=database_name,
    container_name=container_name,
    vector_embedding_policy=vector_embedding_policy,
    indexing_policy=indexing_policy
)

# 查询相似文档
query = "What were the compute requirements for training GPT 4"
results = vector_search.similarity_search(query)
print(results[0].page_content)