Exploring the Limitations of Large Language Models in Compositional Relation Reasoning
我们通过一个包含1500个英语测试案例的基准,对大型语言模型(LLM)推理作文关系的能力进行了全面评估,该基准旨在涵盖六种不同类型的作文关系:位置关系、比较关系、个人关系、数学关系、同一性关系和其他关系。认识到多语言能力的重要性,我们扩大了评估范围,将这些案例翻译成中文、日语、法语和韩语。我们的多语言作文关系(MCR)基准旨在研究LLM在处理不同语言背景下的作文关系推理时的稳健性和适应性。我们的基准MCR将在发布。
复制链接