关于国内外语法纠错的研究（四）-性能提升（一）

概要

在文章（三）中讲述了现代GEC系统的核心技术，但GEC系统还有许多其他技术进一步提高性能。在本篇文章中将介绍了其中的几种技术，包括重新排序、集成和系统组合、多任务学习、自定义推理方法，上下文GEC和生成对抗网络。

Re-ranking

重新排序（Re-ranking）所做的事类似于智能过滤器。当检索器从索引集合中检索多个上下文时，这些上下文可能与用户的查询具有不同的相关性。有些上下文可能非常相关，而另一些上下文可能只是轻微相关甚至不相关，如下图所示，假设相关性高的为红色，其他相关性较低，在经过Re-ranking后，相关性高的被保留了下来。（是否类似于注意力机制，将重点集中在某一块）

基于机器翻译（包括 SMT 和 NMT）的系统可以视为一个句子生成 n 个最佳备选修正列表。这导致了许多关于 n-best list 重新排序的工作。系统产生的最有可能的候选句（即 n = 1），而是位于最有可能的 n 个候选句中的某个地方。作为单独的后处理，基于 SMT 或 NMT 的 GEC 系统产生的候选词可以使用丰富的特征集进行重排序、这样就能选出更好的候选结果作为 "最佳 "修正。在重新排序过程中，可以轻松调整 GEC 特有的特征，而不必担心细粒度的模型平滑问题。
传统上，N-最佳列表重排是提高系统性能的最简单、最流行的方法之一。重新排序的另一种形式是收集 N 个最佳修正中的所有编辑，并使用编辑评分器对其进行过滤。

集成与系统组合

集成与系统集合（Ensembling and System Combination），集合是机器学习中的一种常用技术，用于综合多个单独训练的模型的预测结果。集合模型通常往往比一个组合模型都能产生更好的预测结果。在 GEC 中，集合通常是指在序列到序列方法中预测下一个标记或在基于编辑的方法中预测编辑标记时，平均单个训练的 GEC 模型的概率。组合成集合的 GEC 模型通常具有相似的属性，只是略有不同，可能是随机种子、预训练模型或架构。 另一方面，不同的 GEC 方法具有不同的优势和劣势。Susanto、Phandi 和 Ng 的研究表明，将不同的 GEC 系统组合在一起，可以产生一个更好的系统，具有更高的准确性。
当组合具有重大差异的系统时，训练系统组合模型比组合模型更可取。系统组合模型允许组合系统适当整合 GEC 系统的优势，并已被证明能产生比集合系统更好的结果（让模型去学习怎么组合各种GEC模型）。此外，大多数用于 GEC 的系统组合方法都是在黑箱设置下工作的，只需要系统的输出，而无需访问系统的内部结构和预测概率。当单个组件系统的差异不够大时，鼓励单个系统在组合之前更加多样化也能提高性能。

多任务学习

多任务学习（Multi-task Learning0允许系统使用来自相关任务的信息，并通过共享表征从多个目标中学习，从而提高单个任务的性能,通俗来说，利用相关任务的最终目标（多分类，语句生成等等），去辅助完成GEC任务。
Rei 和 Yannakoudakis首次通过神经序列标签模型研究了在写作错误检测任务中使用不同辅助目标的情况。除了预测二元错误标签，他们还尝试预测具体的错误类型信息，包括学习者的 L1、标记频率、POS 标记和依赖关系。Asano 等人也采用了类似的方法，他们的纠错模型还估算了学习者的语言熟练程度，并同时进行了句子级错误检测。在基于 NMT 的 GEC 中，标记级和句子级错误检测也被作为辅助目标进行了探索，在这种情况下，对系统进行了训练，以共同生成更正并预测源句是正确还是错误。这些辅助错误检测任务的标签可以使用ERRANT等自动对齐工具从现有数据集中自动提取。

小结

本文讲述了增强性能的三种方法，下篇文章将讲述剩余的集中方法（自定义推理方法，上下文GEC和生成对抗网络）。