A Comprehensive Evaluation of Large Language Models on Temporal Event Forecasting

本文是LLM系列文章，针对《A Comprehensive Evaluation of Large Language Models on Temporal Event Forecasting》的翻译。

摘要

最近，大型语言模型（LLM）在各种数据挖掘任务中表现出了巨大的潜力，例如知识问答、数学推理和常识推理。然而，法学硕士在时间事件预测方面的推理能力尚未得到充分探索。为了系统地研究他们在时间事件预测方面的能力，我们对基于LLM的时间事件预测方法进行了综合评估。由于缺乏涉及图和文本数据的高质量数据集，我们首先构建一个基准数据集，命名为MidEast-TE-mini。基于该数据集，我们设计了一系列基线方法，其特点是各种输入格式和检索增强生成（RAG）模块。通过大量的实验，我们发现直接将原始文本集成到法学硕士的输入中并不能增强零样本外推性能。相比之下，将原始文本合并到特定的复杂事件中并微调法学硕士可以显着提高性能。此外，通过检索模块的增强，法学硕士可以有效地捕获隐藏在历史事件中的时间关系模式。与此同时，法学硕士，尤其是基于RAG的方法，仍然存在诸如受欢迎程度偏差和长尾问题等问题。这些发现不仅加深了我们对基于法学硕士的事件预测方法的理解，而且突出了几个有前途的研究方向。我们认为，这种综合评估以及已确定的研究机会将对未来通过法学硕士进行时间事件预测的研究做出重大贡献。