探索ManticoreSearch的向量检索功能：快速入门与实践

本文链接：https://blog.csdn.net/tt_jishu/article/details/142746009

# 探索ManticoreSearch的向量检索功能：快速入门与实践

## 引言

随着大数据和人工智能的快速发展，向量检索已成为构建高效信息检索系统的关键技术之一。ManticoreSearch作为一个成熟的开源搜索引擎，最近引入了向量检索功能，使用户能够利用向量相似性执行搜索。这篇文章将带你学习如何在ManticoreSearch中配置和使用向量检索。

## 主要内容

### 1. 环境配置

为使用ManticoreSearch的向量搜索功能，我们首先需要设置开发环境。由于这个功能目前在开发版中，所以需要使用`manticoresearch-dev` Python客户端。

#### 启动ManticoreSearch的Docker容器

以下是启动Docker容器并安装`manticore-columnar-lib`包的步骤：

```python
import time

# 检查是否有正在运行的容器
containers = !docker ps --filter "name=langchain-manticoresearch-server" -q
if len(containers) == 0:
    # 启动容器
    !docker run -d -p 9308:9308 --name langchain-manticoresearch-server manticoresearch/manticore:dev
    time.sleep(20)  # 等待容器启动

# 获取容器ID
container_id = containers[0]

# 以root用户安装manticore-columnar-lib包
!docker exec -it --user 0 {container_id} apt-get update
!docker exec -it --user 0 {container_id} apt-get install -y manticore-columnar-lib

# 重启容器
!docker restart {container_id}

安装ManticoreSearch Python客户端

%pip install --upgrade --quiet manticoresearch-dev

2. 使用向量检索

我们使用OpenAIEmbeddings来处理文本数据，并与ManticoreSearch进行集成。

from langchain.text_splitter import CharacterTextSplitter
from langchain_community.embeddings import GPT4AllEmbeddings
from langchain_community.vectorstores import ManticoreSearch, ManticoreSearchSettings
from langchain_community.document_loaders import TextLoader

# 加载和拆分文档
loader = TextLoader("../../modules/paul_graham_essay.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=100, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 生成嵌入
embeddings = GPT4AllEmbeddings()

# 为文档添加元数据
for d in docs:
    d.metadata = {"some": "metadata"}

# 配置ManticoreSearch
settings = ManticoreSearchSettings(table="manticoresearch_vector_search_example")
docsearch = ManticoreSearch.from_documents(docs, embeddings, config=settings)

# 执行相似性搜索
query = "Robert Morris is"
docs = docsearch.similarity_search(query)
print(docs)