Generating Multilingual Question Answering Datasets from Large Language Models using Few Shot Learn

本文是LLM系列文章，针对《GeMQuAD : Generating Multilingual Question Answering Datasets from Large Language Models using Few Shot Learning》的翻译。

摘要

具有上下文学习（ICL）等功能的大型语言模型（LLM）的出现为跨各个领域的数据生成带来了新的可能性，同时最大限度地减少了对大量数据收集和建模技术的需求。研究人员已经探索了如何使用这些生成的合成数据来优化较小的学生模型，以降低部署成本和下游任务的延迟。然而，ICL生成的数据通常质量较低，因为任务特异性有限，ICL中使用的示例很少。在这篇论文中，我们提出了GeMQuAD——一种半监督学习方法，扩展了WeakDAP框架，应用于通过ICL生成的数据集，并使用AlexaTM 20B Seq2Seq LLM在目标语言中进行了一个示例。通过我们的方法，我们迭代地识别高质量数据以提高模型性能，特别是在提取式问答任务中的低资源多语言环境中。在MLQA数据集上，我们的框架比机器翻译增强模型在印地语和西班牙语上的表现分别高出0.22/1.68 F1/EM（精确匹配）点和0.82/1.37 F1/EM点，并且在同一数据集上比仅在英语数据集上训练的模型的表现高出5.05/6.50 F1/EM分和3.81/3.69分F1/EM。值得注意的是，我们的方法使用预训练的LLM进行生成，无需微调（FT），只利用ICL中的一个带注释的示例来生成数据，提供了一种经济高效的开发过程。

1 引言

2 相关工作

3 方法