NUS：LLM表格推理增强框架TART

📖标题：TART: An Open-Source Tool-Augmented Framework for Explainable Table-based Reasoning
🌐来源：arXiv, 2409.11724

摘要

🔸当前的大型语言模型（LLM）在理解表结构和应用精确数值推理方面的能力有限，而精确数值推理对于表问答（TQA）和基于表的事实验证（TFV）等任务至关重要。
🔸为了应对这些挑战，我们引入了我们的表工具增强推理框架（TART），该框架将LLM与专用工具集成在一起。TART包含三个关键组件：一个用于确保准确数据表示的表格式化器，一个用于开发特定计算工具的工具生成器，以及一个用于保持可解释性的解释生成器。我们还介绍了TOOLTAB数据集，这是一个专门为在表-工具集成中训练LLM而设计的新基准。
🔸我们的实验表明，TART通过提高数据处理的精度和推理过程的清晰度，实现了对现有方法（如思维链）的实质性改进。值得注意的是，TART与CodeLlama的结合实现了闭源LLM GPT-3.5-turbo准确率的90.0%，突显了其在各种现实场景中的鲁棒性。所有代码和数据均可在https://github.com/XinyuanLu00/TART获得.

🛎️文章简介

🔸研究问题：当前大语言模型（LLM）在理解表格结构和执行精确数值计算方面的局限性。
🔸主要贡献：论文提出了一个名为TART的开源工具增强框架，通过集成外部工具来提高表格推理的精确性和可解释性。

📝重点思路

🔺相关工作

🔸基于表格的推理任务涉及解释和操作来自结构化表格源的数据，以回答问题、验证事实或生成摘要。
🔸早期的方法使用可执行SQL或SPARQL与表格交互，依赖于特定的表格格式和语言模式，通常泛化能力较差。
🔸LLM方法的研究重点是开发表格预训练策略，随后的工作进一步探索了不同的推理策略（如表格分解）以提高效率。
🔸将表格数据明确地用于中间思想的推理链中，并结合反应式和主动式推理策略，以提高复杂表的准确性和检索能力，但会牺牲精度。

🔺论文方案

框架包含三个主要模块
🔸表格格式化器（Table Formatter）：训练一个专门的开源大型语言模型作为表格格式化器F，将原始输入表格T转换为更结构化和可管理的格式T’，以便于后续推理。
🔸工具制造器（Tool Maker）：训练另一个专门的LLM作为工具制造器M，输入重构后的表格T’和查询Q，生成一组候选工具S，并制定详细的推理计划R，包括高层次推理步骤、工具调用顺序、必要参数和预期返回值。
🔸解释生成器（Explanation Generator）：整合不同工具的输出，生成用户友好的解释。
🔸模型训练：由于没有现成的训练数据，论文使用一个教师LLM来合成工具集成解决方案轨迹，并从中提取和重组组件以构建三个模块的训练集。

🔎分析总结

🔸基础模型的影响：通过探索不同的表格格式化器和工具制造器模块组合，发现不同的主干模型在平均执行率和准确性上有差异。
🔸基准测试：TART方法显著提高了表格推理的准确性，深入分析表明，TART能够有效学习和使用工具。
🔸数据集覆盖：TART在处理未遇到的新表格任务和数据集时，性能可能会有所不同。

💡个人观点

论文的核心在于工具增强，以解决LLM在表格结构理解和精确计算方面的局限性，同时保持推理过程的可解释性。

附录