Reranker：基于深度语言模型的文本重排工具包

Reranker：基于深度语言模型的文本重排工具包

Reranker Build Text Rerankers with Deep Language Models 项目地址: https://gitcode.com/gh_mirrors/re/Reranker

1. 项目基础介绍和主要编程语言

Reranker 是一个轻量级、高效且强大的开源工具包，主要用于训练和部署深度语言模型重排器，应用于信息检索（IR）、问答（QA）以及众多自然语言处理（NLP）流程中。该项目基于 Python 编程语言，并依赖于 PyTorch、Huggingface Transformers 和 Datasets 等库。

2. 项目的核心功能

• 深度语言模型重排：Reranker 支持从最新预训练的语言模型（如 BERT、RoBERTa、ELECTRA 等）训练出重排器，实现高效率的重排性能。
• 损失函数优化：采用局部对比估计（LCE）损失函数，优化多阶段检索管道中 BERT 重排器的训练。
• 内存优化：通过损失并行和梯度缓存等技术，降低 GPU 内存使用，使得能够训练更大的模型。
• 训练加速：利用分布式数据并行（DDP）实现多 GPU 训练，以及自动混合精度（AMP）训练和推理，加速训练过程。
• 数据集支持：通过 pyarrow 接口，支持内存映射数据集，打破 CPU 内存限制。

3. 项目最近更新的功能

• 性能提升：Reranker 最近在 MS MARCO 文档排行榜上提交了两个重排器模型，均取得了第一名，提高了现有技术水平。
• 模型扩展：新增了对梯度缓存（Gradient Cache）的支持，这是一种实验性功能，可以训练远超 GPU 内存限制的负样本数量，通过梯度缓存方法实现。
• 工具和助手：在 helper 目录中增加了数据格式化和分数格式化的工具，方便用户将原始分数文件转换为 MS MARCO 格式或 TREC eval 格式。

Reranker 项目的持续更新和改进，使其成为自然语言处理领域的一个重要工具，值得推荐给所有需要对文本进行高效重排的开发者和研究者。

Reranker Build Text Rerankers with Deep Language Models 项目地址: https://gitcode.com/gh_mirrors/re/Reranker