[使用Vectara构建现代化AI助手：快速指南]

最新推荐文章于 2024-09-27 10:58:53 发布

aehrutktrjk

最新推荐文章于 2024-09-27 10:58:53 发布

阅读量258

点赞数 5

文章标签：人工智能 python 开发语言

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142358450

版权

引言

在当今的数字时代，企业需要快速高效地访问和利用数据。Vectara提供了一个可信赖的生成式AI平台，使组织能够基于自己的数据创建类似ChatGPT的体验。这种服务被称为检索增强生成（Retrieval-Augmented-Generation, RAG），通过简单易用的API提供所有RAG组件。本篇文章将深入探讨如何利用Vectara在LangChain中构建强大的AI助手。

主要内容

Vectara平台概述

Vectara作为RAG服务的一部分，提供以下组件：

文本提取：支持PDF、PPT、DOCX等文件。
ML分块：提供高性能文本分块。
Boomerang嵌入模型：用于向量化数据。
内部向量数据库：存储文本块与嵌入向量。
查询服务：将查询编码为嵌入，并检索最相关文本段。
生成式总结：使用LLM基于检索文档进行生成总结，支持引用。

使用Vectara与LangChain集成

要在LangChain中使用Vectara，首先需要注册一个Vectara账户并获得API密钥。设置环境变量如下：

export VECTARA_CUSTOMER_ID="your_customer_id"
export VECTARA_CORPUS_ID="your_corpus_id"
export VECTARA_API_KEY="your-vectara-api-key"

然后可以在LangChain中导入Vectara：

from langchain_community.vectorstores import Vectara

vectara = Vectara(
    vectara_customer_id=customer_id, 
    vectara_corpus_id=corpus_id, 
    vectara_api_key=api_key
)

添加文本或文件

可以通过以下方式添加文本或文件：

vectara.add_texts(["to be or not to be", "that is the question"])
vectara.add_files(["path/to/file1.pdf", "path/to/file2.pdf"])

查询向量存储

使用similarity_search_with_score方法查询向量存储：

results = vectara.similarity_search_with_score("what is LangChain?")

使用RAG

Vectara提供完整的RAG管道，支持生成总结：

summary_config = SummaryConfig(is_enabled=True, max_results=7, response_lang='eng')
rerank_config = RerankConfig(reranker="mmr", rerank_k=50, mmr_diversity_bias=0.2)
config = VectaraQueryConfig(k=10, lambda_val=0.005, rerank_config=rerank_config, summary_config=summary_config)

rag = vectara.as_rag(config)
response = rag.invoke("what did Biden say?")
print(response['answer'])