全文检索-RocketQA

综述

GitHub链接：RocketQA链接
AIstudio链接：AIstudio链接
RocketQA是一个开源工具包，用于训练和评估问答模型。它建立在Hugging Face Transformers库之上，并提供一组可定制的训练和评估脚本，适用于不同的QA数据集，例如SQuAD、TriviaQA和Natural Questions。RocketQA还包括一个预处理流水线，用于将原始数据转换为可用于训练和评估的格式。
RocketQA使用起来非常的简单，可以非常方便地进行部署，同事也可以简单地进行微调模型。

使用说明

我将会列举以下几种使用方式

以云端为例

如果想在云端上进行体验，使用aistudio是一个不错的选择

ce_en_models

模型文件
微调之后如果模型太大的话可以检查一下保存文件中是否有很多名字中包含moment的文件，这些是为了中断训练后还能继续运行所保存的，在最后保存模型参数时可以删掉。

---

de_en_models

模型文件
微调之后如果模型太大的话可以检查一下保存文件中是否有很多名字中包含moment的文件，这些是为了中断训练后还能继续运行所保存的，在最后保存模型参数时可以删掉。