本文是LLM系列文章,针对《INTERS: Unlocking the Power of Large Language Models in Search
with Instruction Tuning》的翻译。
摘要
大型语言模型(LLM)在各种自然语言处理任务中表现出了令人印象深刻的能力。尽管如此,由于许多特定于信息检索的概念在自然语言中很少出现,它们在信息检索任务中的应用仍然具有挑战性。虽然基于提示的方法可以为LLM提供任务描述,但它们往往无法促进对IR任务的全面理解和执行,从而限制了LLM的适用性。为了解决这一差距,在这项工作中,我们探索了指令调整的潜力,以提高LLM在IR任务中的熟练程度。我们介绍了一个新的指令调优数据集INTERS,它包含三个基本IR类别的20个任务:查询理解、文档理解和查询文档关系理解。这些数据来源于43个不同的数据集和手动编写的模板。我们的实证结果表明,INTERS显著提高了各种公开可用LLM的性能,如LLaMA、Mistral和Phi在IR任务中的性能。此外,我们进行了广泛的实验来分析指令设计、模板多样性、小样本演示和指令量对性能的影响。我们将我们的数据集和经过微调的模型公开在https://github.com/DaoD/INTERS.
1 引言
2 相关工作
3 指令调整用于搜索
4 实验
5 结论
在本文中,我们研究了指令调优的应用,以增强LLM执行搜索任务的能力。我们的指令调整数据集INTERS证明了其