⬆⬆⬆ 点击蓝字
关注我们
AI TIME欢迎每一位AI爱好者的加入!
语法纠错任务,即Grammatical Error Correction(简称,GEC)被广泛地应用于文本编辑、搜索、抽取中,但语法纠错任务仍然面临样本不足,模型易受攻击等问题。讲者将从文本对抗攻击角度出发,提出了一种适用于GEC任务的对抗攻击算法,以产生高质量的对抗样本来进行数据增强。实验证明了,生成的对抗样本,既能增强模型的泛化性,也能增强模型的鲁棒性。
本期AI TIME PhD直播间,我们有幸邀请到复旦大学研究生汪励颢为我们进行分享,本次分享的主题是——基于对抗样本的语法纠错研究。
汪励颢:复旦大学自然语言处理组2019级在读研究生,导师郑骁庆副教授和黄萱菁教授,研究方向为语法纠错。
一、 使用对抗样本方式对语法纠错任务进行数据增强的原因
语法纠错任务可以改正文本中各种各样的语法错误。
通常,语法改错主要有三个级别的错误:
第一个级别:字符级别错误,主要是拼写、标点等类型的错误;
第二个级别:词级别的错误,比如词的时态语态、单复数,或者一些词的选择;
第三个级别:一般认为是词组级别或者句子级别的一些错误,包括词序、搭配不当等错误。
讲者强调,GEC任务的研究主要关注在第二和第三级别错误,也就是词级别和句子级别的错误。一种主流做法是,把它当作低资源的同语料机器翻译任务,输入是具有语法错误的句子,输出是一个没有语法错误的句子,使其通过翻译的方式完成语法纠错任务。
那么,GEC任务也同样可以使用sequence to sequence的框架进行处理。但相比单纯的机器翻译任务,GEC主要存在两点区别:
第一个区别:GEC处理的句子相比机器翻译,对句子的改动是很少的,句子中可能零星的几个地方犯有错误,修正以后,句子没有大的变化,许多词语得以保留,故一些研究引入copy机制来适配这个任务;
第二个区别:GEC任务的语料是非常稀缺的。目前官方给出的语料大约是70万个句子,这对于一些