《Spelling Error Correction with Soft-Masked BERT》阅读记录

《Spelling Error Correction with Soft-Masked BERT》

To be published at ACL 2020. 2020.5.15

链接：https://arxiv.org/abs/2005.07421

摘要

彼时CSC的SOTA方法：在语言表示模型BERT的基础上，在句子的每个位置从候选词列表中选择一个字符进行纠正(包括不纠正)。

但这一方法能力不是最强悍的，因为BERT本身没有足够的能力来检测每个位置是否有错误，显然是由于使用掩码语言建模对其进行预训练的方式。

本文工作：提出了一个由错误检测网络和基于BERT纠正错误网络的神经网络结构。

• 二者使用本文所述的Soft-Masking（软遮蔽/软掩码）技术相连

Soft-masked BERT 也可用于其他语言。

方法性能优于基线。

结论

提出了一种新的用于拼写错误校正的神经网络结构（主要是CSC上）——Soft-Masked BERT。

• 检测网络识别给定句子中可能不正确的字符，并对字符进行软屏蔽（soft-mask）。
• 校正网络以软屏蔽字符为输入，对字符进行校正。

软掩蔽技术是通用的，并且在其他检测-校正任务中可能有用。

在两个数据集上的实验结果表明：软屏蔽BERT明显优于仅利用BERT的现有方法。

未来工作

计划将Soft-Masked BERT扩展到其他问题，如语法错误纠正，并探索实现检测网络的其他可能性。

介绍

拼写检查任务

• 在词级或字符级上，改正文章中的拼写错误 (Yu and Li, 2014; Y u et al., 2014; Zhang et al., 2015; Wang et al., 2018b; Hong et al., 2019; Wang et al., 2019)。

对很多自然语言应用起十分关键的作用，比如

• 搜索 (Martins and Silva, 2004; Gao et al., 2010)
• 光学字符识别 (Afliet al., 2016; Wang et al., 2018b)
• 文章打分 (Burstein and Chodorow, 1999)

这篇文章在字符（character）级别上考虑中文拼写错误问题。

拼写错误纠正的难点

1. 需要对世界的认识
2. 一些错误需要推理

拼写错误纠正

• 采用机器学习和深度学习 (Yu et al., 2014; Tseng et al., 2015; Wang et al., 2018b).

  • Zhang et al. (2015) 提供了一个CSC的统一框架：错误检测、候选词生成、最终候选选择（改错）使用传统机器学习。

  • Wang et al. (2019) 提供带有复制机制的seq2seq模型：输入句→拼写错误被纠正后的新句子

• 使用BERT(Devlin et al., 2018)语言表示模型 (Hong et al