NTU：通过选择器整合多种LLM表格问答方案

📖标题：SYNTQA: Synergistic Table-based Question Answering via Mixture of Text-to-SQL and E2E TQA
🌐来源：arXiv, 2409.16682

摘要

🔸Text-to-SQL解析和端到端问答（E2E TQA）是基于表的问答任务的两种主要方法。尽管在多个基准上取得了成功，但它们尚未进行比较，其协同作用仍未得到探索。
🔸在本文中，我们通过在基准数据集上评估最先进的模型来识别不同的优缺点：Text-to-SQL在处理涉及算术运算和长表的问题方面具有优势；E2E TQA擅长解决模棱两可的问题、非标准的表模式和复杂的表内容。
🔸为了结合这两种优势，我们提出了一种基于协同表的问答方法，该方法通过答案选择集成不同的模型，对任何模型类型都是不可知的。进一步的实验证实，通过基于特征或基于LLM的答案选择器对模型进行集成，可以显著提高单个模型的性能。代码将公开在https://github.com/siyue-zhang/SynTableQA

🛎️文章简介

🔸研究问题：如何通过协同使用Text-to-SQL和端到端表格问答（E2E TQA）方法来提高表格问答的准确性和鲁棒性？
🔸主要贡献：论文提出了一种名为SYNTQA的混合方法，混合使用Text-to-SQL和E2E，并结合选择器来选择最终答案。

📝重点思路

🔺相关工作

🔸TQA任务：给定一个问题和一个表格，根据表格中的证据找到答案，常用方法包括语义解析和端到端系统。
🔸语义解析：通过Text-to-SQL预测SQL查询作为问题的中间语义表示，然后执行SQL来查找答案，更擅长数值推理和长表格处理。
🔸端到端系统：直接从表语料库上用预先训练的模型生成答案，模仿人类对问题和表的推理，更擅长模糊问题和复杂模式。

🔺论文方案

🔸技术评估：评估当前SOTA的Text-to-SQL（如T5、DIN-SQL）和E2E TQA模型（如TAPEX、OmniTab、GPT）在基准数据集WTQ和WIKISQL上的表现。
🔸SYNTQA方法：结合了Text-to-SQL和E2E TQA模型的候选答案，并使用选择器来选择最终答案。
🔸选择原理：使用随机森林分类器（RF）来选择最合适的方法来处理给定的问题和表格，还设计了多种特征来训练这个分类器，包括问题特征（如问题词和长度）和表格特征。此外，还引入了自一致性机制，通过生成多个候选答案并进行投票来选择最终答案，以提高系统的鲁棒性。

🔎分析总结

🔸E2E TQA在处理模糊问题和非标准表格模式时表现稳健，更侧重于表格内容而非表格模式。
🔸Text-to-SQL在数值推理和长表格时表现更好，而E2E TQA在处理复杂内容和混合数据类型的表格时更具灵活性。
🔸SYNTQA方法通过集成两者优势，显著提高了问答系统的性能，特别是在复杂问题和表格上，选择器的成功率至关重要。
🔸SYNTQA在对抗性扰动下的表现优于单独的方案，表明其具有更好的鲁棒性。

💡个人观点

论文的核心是模型融合思想，通过选择器选择答案，但光靠任务特征分类靠谱吗？

附录