复旦新突破：用全球元组抽取革新文本到表格生成，超越传统大模型！

DeepVisionary 每日深度学习前沿科技推送&顶会论文分享，与你一起了解前沿深度学习信息！

Text-Tuple-Table: Towards Information Integration in Text-to-Table Generation via Global Tuple Extraction

引言：文本到表格的智能转换

在当今信息爆炸的时代，如何高效地从大量文本中提取关键信息并进行有效整理，是信息处理领域面临的一大挑战。文本到表格的转换技术应运而生，它通过智能化的方法将杂乱无章的文本信息转换为结构化的表格形式，极大地提升了信息的可读性和易用性。这一技术不仅有助于文本摘要和信息提取，还能在数据挖掘、问答系统等多个领域中发挥重要作用。

尽管当前的大型语言模型（LLMs）在文本处理方面已显示出强大的能力，但将文本转换为表格的任务仍然具有一定的挑战性。这主要是因为这一任务不仅仅是简单的格式转换，更涉及到对文本的深入理解、信息的提取与整合等复杂过程。因此，开发出能够准确执行此类转换的模型和方法，对推动相关技术的发展具有重要意义。

论文标题、机构、论文链接和项目地址

• 论文标题: Text-Tuple-Table: Towards Information Integration in Text-to-Table Generation via Global Tuple Extraction
• 机构: Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China; School of Computer Science, Fudan University, Shanghai, China
• 论文链接: https://arxiv.org/pdf/2404.14215.pdf
• 项目地址: https://github.com/HKUST-KnowComp/LiveSum-TTT

在这篇论文中，研究者们提出了一个新的基准数据集LIVESUM，专门用于评估模型在文本到表格转换任务中的信息整合能力。此外，他们还开发了一种名为T3（Text-Tuple-Table）的新方法，该方法通过从文本中提取信息元组，然后将这些元组整合成表格，从而有效提升了模型处理此类任务的性能。这些研究成果不仅为解决文本到表格的转换问题提供了新的思路，也为相关领域的研究提供了宝贵的资源和工具。

LIVESUM数据集介绍

LIVESUM数据集是为了评估模型在文本到表格生成任务中的信息整合能力而设计的新型基准数据集。该数据集包含了3,771场实时足球比赛的文本评论，这些评论来自真实世界的比赛。与以往的数据集不同，LIVESUM要求模型不仅仅是复制文本中的信息，而是需要展示出从复杂文本数据中提取正确且有意义信息的能力，特别强调信息整合、推理和概念化技能。

例如，数据集中的评论可能在时间上非常接近或语义上相似，可能描述的是同一事件，而具有相似含义的动词可能指代同一类事件。这种复杂性使得LIVESUM数据集成为一个挑战性极强的基准，能够更加严格地评估模型在真实场景下的表现。

LIVESUM数据集的构建过程涉及到对原始文本的格式化问题的处理，我们通过改写文本以匹配评论员的风格同时确保一定的多样性。此外，为了遵守隐私法规并防止在LLM基准测试中的偏见，我们还利用命名实体识别技术对数据进行了匿名处理。

T3方法详解

T3（Text-Tuple-Table）方法是一个基于提示的强大方法，旨在改进文本到表格的生成任务。该方法从表格的固有属性中汲取灵感，其中每个单元格及其对应的行标题和列标题共同创建了一个信息三元组，即(row header, column header, cell)。当缺少行或列标题时，这些三元组退化为二元组。这些元组为人类提供了在文本中定位特定信息并完成表格的线索。

1 文本到元组

在T3方法的第一阶段，我们使用大型语言模型作为元组提取器。根据指令，模型从文本中提取相关事件和信息，并将其结构化为元组，格式可以是(subject, object, verb)或(subject, attribute, value)。

2 元组整合

在第二阶段，我们提出了两种信息整合的方法。第一种方法是直接由大型语言模型执行，使用提示来整合元组数据。第二种方法则是利用大型语言模型在代码生成任务中的成功经验，生成整合这些元组的算法和代码。

4.3 元组到表格

在获得整合后的元组后，我们遵循之前的实现，并使用以下提示来生成最终的表格：“根据<指令>，请根据以下元组生成一个或多个表格。”这里的<指令>是当前任务的指导，而<元组>则是前一阶段产生的元组。

通过这一系列精心设计的步骤，T3方法不仅提高了模型在LIVESUM数据集上的表现，还展示了在其他真实世界数据集上的强大泛化能力。

实验设置和模型基准

1. 基线模型

在本研究中，我们对LIVESUM数据集进行了微调，使用了三个代表性的开源大型语言模型（LLMs）：Mistral-7B-Instruct-v0.2（Jiang等，2023年）、LLaMA-2 Chat 7B和LLaMA-2 Chat 13B（Touvron等，2023年）。我们遵循当前最先进的微调方法（Tang等，2023年），因此结果代表了当前微调方法可达到的最佳结果。我们还评估了八种最先进的LLMs在零样本设置下的表现：LLaMA-2 Chat 13B、LLaMA-2 Chat 70B（Touvron等，2023年）、Mistral Large（MistralAI，2024年）、Claude 2.1（Anthropic，2023年）、Claude 3 Opus（Anthropic，2024年）、ChatGPT（OpenAI，2022年）和GPT-4（OpenAI，2024年）。对于每个模型，我们使用两种类型的提示进行测试。第一种类型直接描述任务，提供指导文本y并附带文本x。第二种类型使用思维链提示（Chain-of-Thought，CoT）（Wei等，2022年），在指导文本中加入“让我们一步步思考”的短语。

2. 评估指标

由于本任务中生成的单元格内容包含数值，我们使用常用于回归任务的指标，即均方根误差（RMSE）。我们还报告了每个单元格的错误率（ER），定义为如果其内容与真实值不完全匹配，则该单元格为错误。基于难度评估的分组：进球由于原始文本中直接描述得分，被归类为简单部分；由于出现频率较低，红牌被归类为简单部分。射门和犯规由于表达和描述的多样性，被归类为困难部分。其余四种事件类型被归为中等部分。我们报告了每种模型在不同难度类别下的RMSE和ER，以提供更全面的分析。

实验结果与分析

1. 基准测试（RQ1）

在零样本设置中，大多数模型在应用CoT后的两个指标都有轻微的改善。其中，表现最好的模型是Mistral Large、GPT-4和Claude 3 Opus，几乎相当。它们的RMSE范围在2.08到2.27之间，错误率在46.20%到48.33%之间。然而，这仍然突显了LLMs在零样本设置中信息整合能力的显著不足，强调了我们基准的挑战性和重要性。然后，我们分析了三个难度类别的表现。

简单部分

微调模型的错误率通常在40%左右，RMSE接近1。在零样本设置中，LLaMA-2-Chat、ChatGPT和Claude 2.1模型表现相对较差，偶尔会产生异常大的值。其他模型的错误率通常保持在5%以下，RMSE小于0.2。其中，Mistral Large模型表现最佳，两个指标均显著低于其他模型。

中等部分

中等部分在模型之间显示出最大的变化，并且是整体模型性能的关键决定因素。我们根据它们的表现对模型进行排序，零样本设置中的错误率范围从89.25%降至45.86%。使用CoT的GPT-4表现最佳，尽管错误率仍显示LLMs的能力不足。

困难部分

图表清楚地显示，在困难部分，零样本方法与微调相比几乎没有改善，大多数错误率约为90%。然而，Mistral Large是一个例外，实现了较低的错误率84.08%，这表明困难部分的挑战性。

方法的通用性和潜在应用

在本研究中，我们提出了一个新的基准数据集LIVESUM，以及一个名为T3（Text-Tuple-Table）的强大方法，用于改进文本到表格的生成任务。这一方法的设计灵感来源于表格的固有属性，即每个单元格与其对应的行标题和列标题共同构成信息丰富的三元组。这些三元组作为线索，帮助模型从文本中定位特定信息并完成表格的填充。

1. 方法的通用性

T3方法不仅适用于我们创建的LIVESUM数据集，还可以广泛应用于其他需要从文本生成结构化表格的场景。例如，在自动化文档摘要、实时事件记录和知识提取等领域，T3方法都有潜在的应用价值。此外，由于该方法依赖于从文本中提取的信息元组，它可以灵活地适应不同的输入格式和结构要求，展现出高度的通用性。

2. 潜在应用领域

• 实时事件监控： 如体育赛事或重大新闻事件的实时更新，T3可以实时生成关于比赛统计或事件发展的结构化摘要。
• 学术研究： 在自动化文献审阅过程中，T3可以帮助研究人员从大量文献中提取和总结关键信息，生成结构化的研究数据表。
• 商业智能： T3可以用于从商业报告或市场分析中提取关键数据，生成摘要表格，辅助决策制定。

通过这些潜在应用，T3方法不仅提高了信息处理的效率，还可能改变人们管理和交互信息的方式。

结论与未来工作

本研究通过引入新的LIVESUM数据集和T3方法，为文本到表格的生成任务提供了一种新的解决方案。实验结果表明，尽管当前的大型语言模型（LLMs）在这一任务上表现不佳，但我们的T3方法能显著提高模型的性能，特别是在零样本设置中。

1. 结论

• T3方法通过提取文本中的信息元组并将它们整合成表格，有效地提高了信息整合的能力和模型的准确性。
• 在LIVESUM数据集上的测试显示，T3方法能够显著提升各种LLMs的性能，尤其是在处理复杂文本和生成准确表格方面。

2. 未来工作

• 多样化数据集的测试： 将T3方法应用于更多类型的数据集，以验证其在不同文本到表格任务中的有效性和可扩展性。
• 方法优化： 探索更高效的信息元组提取和整合技术，进一步提升T3方法的性能。
• 实际应用开发： 开发基于T3方法的应用程序，支持实时数据处理和自动化报告生成，服务于商业、科研等多个领域。

总之，T3方法及其在LIVESUM数据集上的应用展示了其在提高文本到表格生成任务效率和准确性方面的潜力。未来的研究将继续探索这一方法的各种潜在应用，并不断优化算法以适应更广泛的应用场景。

关注DeepVisionary 了解更多深度学习前沿科技信息&顶会论文分享！