探索Cohere Reranker：提升信息检索准确性的利器

qq_37836323

于 2024-10-01 00:42:33 发布

阅读量137

点赞数 3

文章标签： easyui 前端 javascript python

本文链接：https://blog.csdn.net/qq_29929123/article/details/142665906

版权

引言

在当今信息爆炸的时代，如何高效准确地获取信息变得尤为重要。Cohere是一家加拿大初创公司，致力于提供自然语言处理模型来改善人机交互。本文将介绍如何使用Cohere的Rerank端点来增强检索器的性能，基于ContextualCompressionRetriever的理念进行构建。

主要内容

设置环境

首先，我们需要安装所需的库：

%pip install --upgrade --quiet cohere
%pip install --upgrade --quiet faiss
# OR (depending on Python version)
%pip install --upgrade --quiet faiss-cpu

接下来，获取Cohere API密钥：

import getpass
import os

# 设置环境变量以保存API密钥
os.environ["COHERE_API_KEY"] = getpass.getpass("Cohere API Key:")

初始化向量存储检索器

我们将加载一个文本文件，并将其分割成多个文档块，然后使用FAISS和Cohere的嵌入模型来创建一个简单的向量存储检索器。

from langchain_community.document_loaders import TextLoader
from langchain_community.embeddings import CohereEmbeddings
from langchain_community.vectorstores import FAISS
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 加载文档并分割
documents = TextLoader("state_of_the_union.txt").load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
texts = text_splitter.split_documents(documents)

# 初始化检索器
retriever = FAISS.from_documents(
    texts, CohereEmbeddings(model="embed-english-v3.0")
).as_retriever(search_kwargs={"k": 20})

使用Cohere Rerank进行重新排序

通过ContextualCompressionRetriever结合CohereRerank，我们可以对检索结果进行重新排序，以提升结果的相关性。

from langchain.retrievers.contextual_compression import ContextualCompressionRetriever
from langchain_cohere import CohereRerank
from langchain_community.llms import Cohere

llm = Cohere(temperature=0)
compressor = CohereRerank(model="rerank-english-v3.0")
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor, base_retriever=retriever
)

# 调用重排序
compressed_docs = compression_retriever.invoke(
    "What did the president say about Ketanji Jackson Brown"
)

在QA流程中使用

您可以将这个检索器集成到问答流程中，以获得更高效的问答系统。

from langchain.chains import RetrievalQA

chain = RetrievalQA.from_chain_type(
    llm=Cohere(temperature=0), retriever=compression_retriever
)

result = chain({"query": query})