NICE分享 | 符号化规则强化CoT，大幅提高推理性能 - ACL2024

主题

符号化规则强化CoT，大幅提高推理性能

【ACL2024】Faithful Logical Reasoning via Symbolic Chain-of-Thought
推荐理由：这篇文章非常了不起，大幅度提升CoT的性能，而且还是纯基于LLM。

嘉宾

徐俊东，新加坡国立大学（NUS）计算机系研一。本科就读于伦敦大学学院（UCL）并获得一等学位。他的研究方向为大语言模型的推理能力。

内容

1. 以往LLM在逻辑推理上的方法及其挑战

2. Related work（传统CoT和依赖外部推理工具的方法）

3. SymbCoT的动机与方法

4. 实验分析

5. 关于LLM在逻辑推理上的insight以及未来可能的方向

6. QA

引言

逻辑推理对于大语言模型是一项极有挑战的任务。目前的方法虽然能提升大语言模型的逻辑推理能力，但还存在一些缺陷。比如说CoT在严密的逻辑推理过程中经常会产生逻辑谬误。引入外部工具的方法，仅将LLM当作翻译器来翻译前提，然后使用外部推理工具来进行逻辑推导，但这种方法在翻译的过程中容易出现信息损失或翻译错误导致外部推理工具无法执行，且并没有利用大语言模型自身的推理能力来进行推理。因此，我们提出完全基于大语言模型的SymbCoT，一个既可以引入严密逻辑推理，又能避免翻译造成的信息损失/错误导致外部推理工具失效的框架。通过实验证明，SymbCoT与直接提示，传统CoT和使用外部推理工具相比，SymbCoT分别在五个复杂逻辑推理数据集上提升22.08%、9.31%和7.88%。并且在复杂场景推理、可信度、鲁棒性等方面优于现有方法。

时间

本周六 2024.6.8 上午10:30-11:30

进群

加小助手，备注：nice12