利用RankLLM进行高效文档重排序：提升信息检索的准确性与效率

adfyvatbia

于 2024-10-07 16:52:21 发布

阅读量105

点赞数 3

文章标签： python

本文链接：https://blog.csdn.net/adfyvatbia/article/details/142742921

版权

引言

在信息爆炸的时代，如何快速从海量数据中获取有价值的信息成为一项重要挑战。RankLLM提供了强大的文档重排序工具，专注于开源大语言模型（LLM）的微调任务，如RankVicuna和RankZephyr。本文将探讨如何使用RankLLM提高信息检索的效率，并演示如何集成LangChain和FAISS进行实际应用。

主要内容

初始化向量存储检索器

为了高效地检索和处理文档，我们需要设置基础的向量存储检索器。在这里，我们将以2023年国情咨文为例，将其分块存储。

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

documents = TextLoader("../../modules/state_of_the_union.txt").load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
texts = text_splitter.split_documents(documents)
for idx, text in enumerate(texts):
    text.metadata["id"] = idx

embedding = OpenAIEmbeddings(model="text-embedding-ada-002")
retriever = FAISS.from_documents(texts, embedding).as_retriever(search_kwargs={"k": 20})

使用RankLLM进行重排序

在文档检索后，使用RankLLM进行重排序可以提高结果的相关性。在此部分，我们将演示如何结合RankZephyr模型进行重排序。

from langchain.retrievers.contextual_compression import ContextualCompressionRetriever
from langchain_community.document_compressors.rankllm_rerank import RankLLMRerank

compressor = RankLLMRerank(top_n=3, model="zephyr")
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor, base_retriever=retriever
)

query = "What was done to Russia?"
compressed_docs = compression_retriever.invoke(query)

def pretty_print_docs(docs):
    print(
        f"\n{'-' * 100}\n".join(
            [f"Document {i+1}:\n\n" + d.page_content for i, d in enumerate(docs)]
        )
    )

pretty_print_docs(compressed_docs)