【论文泛读189】研究文本简化评估

贴一下汇总贴：论文阅读记录

论文链接：《Investigating Text Simplification Evaluation》

一、摘要

现代文本简化 (TS) 严重依赖黄金标准数据的可用性来构建机器学习模型。然而，现有研究表明，平行 TS 语料库包含不准确的简化和不正确的对齐。此外，通常使用 BLEU 或 SARI 等指标将系统输出与黄金标准进行比较来进行评估。一个主要的限制是这些指标与人类判断不匹配，并且在不同数据集和语言现象上的表现差异很大。此外，我们的研究表明，并行数据集的测试和训练子集存在显着差异。在这项工作中，我们调查了现有的 TS 语料库，提供了新的见解，将推动现有最先进的 TS 评估方法的改进。我们的贡献包括基于用于简化的现有修改对 TS 语料库进行分析，以及通过使用更好分布的数据集对 TS 模型性能进行实证研究。我们证明，通过改善 TS 数据集的分布，我们可以构建更强大的 TS 模型。

二、结论

在本文中，我们展示了1)TS数据集的统计局限性，以及2)子集分布对于构建更健壮模型的相关性。据我们所知，以前没有考虑过基于分布的TS数据集分析。我们希望这些限制的暴露能够在技术服务社区中引发一场讨论，讨论我们在技术服务和更广泛的NLG评估资源方面的方向是否正确。新资源的创建是昂贵和复杂的，然而，我们已经表明，当前的资源可以被提炼，激励未来在TS领域的研究。

这是一篇对现有数据集的分析以及改进，构建出更加强大的模型