Graph Descriptive Order Improves Reasoning with Large Language Model

研究发现,大型语言模型(LLM)在图推理任务中的性能受图描述顺序显著影响。通过对顺序的调整,LLM的推理性能从42.22%提升至70%。同时,提出了规模化的图推理基准,用于评估LLM在不同图大小下的表现,结果显示其性能并非随图大小增加单调下降。实验涉及GPT-3.5、LLaMA-2-7B和LLaMA-2-13B等主流模型。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列文章,针对《Graph Descriptive Order Improves Reasoning with Large Language Model》的翻译。

摘要

近年来,大型语言模型已经在多个领域实现了最先进的性能。然而,LLM在图推理领域的进展仍然有限。我们的工作通过深入研究LLM的图推理来深入研究这一差距。在这项工作中,我们揭示了图描述的顺序对LLM的图推理性能的影响,这显著影响了LLM的推理能力。通过改变这个顺序,我们将LLM的性能从42.22%提高到70%。此外,我们引入了标度图推理基准,用于评估LLM在各种图大小下的性能,并评估LLM的图推理能力与图大小之间的关系。我们发现LLM的图推理性能不会随着图大小的增加而单调下降。实验跨越了几个主流模型,包括GPT-3.5、LLaMA-2-7B和LLaMA-2-13B,以提供全面的评估。

1 引言

2 概念与前言

3 任务和定义

4 图到文本编码

5 实验设置

6 实验

7 相关工作

8 结论

已下架不支持订阅

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值