近日,第六届中文语法错误诊断大赛(CGED)研讨会于AACL 2020大会的“面向教育技术的自然语言处理(NLPTEA)”workshop中顺利举行。今年共有国内外14支队伍参赛,提交了44个系统。讯飞、阿里、上交、南大、有道、外研社、新华社等团队均有精彩表现。其中,哈工大讯飞联合实验室(下文简称HFL)团队获得综合排名第一的成绩,多项核心指标保持领先。
A.I.也能改作文,我们拿下多项冠军!
![e09694edc2c4873f3befa50b9ee32f8c.png](https://i-blog.csdnimg.cn/blog_migrate/49cff0fcd89ff3a8420208a90dacb48d.png)
最近,这场世界级比赛就把上述场景作为考点——第6届中文语法错误诊断大赛(CGED)。主办方会挑选外国人写作的中文句子作为考题,参赛团队需要利用A.I.算法技术对其中的语法语义错误进行识别,对部分类别错误进行修正,并进行系统性能评估。
可别小看了这场“语法批改大赛”,它所考验的能力十分综合。涉及到参赛队伍的语病识别能力(识别句子是否有错误)、语病分类能力(识别具体的错误类型)、语病定位能力(识别错误的位置和类型)、语病修正能力(对于缺失和用词不当,提供修正建议)等等。
![ce37065d8fd9ecded6206d3d16028668.png](https://i-blog.csdnimg.cn/blog_migrate/131f2243727fc984d286d1a464407123.png)
最终,在语病识别、语病分类、语病定位、语病修正四类核心指标中,HFL在两项关键指标中获取冠军,另外获得一项第二和一项第三。这也是继上一届大赛(CGED2018)夺冠后(https://mp.weixin.qq.com/s/1vTyx-RpQ3TxdptDpxWCdA),持续保持技术领先的又一份成绩单。
![fc1eafd4f208284a3e2e2988db938515.png](https://i-blog.csdnimg.cn/blog_migrate/8ecd48c7f6e18b2786caaeeea2d87057.png)
CGED 2020 Identification-level指标情况
![ed9f5d4d3f24a989bb60de06b8668977.png](https://i-blog.csdnimg.cn/blog_migrate/56a2f18f4a5e26aa0957ebaa20c9b576.png)
CGED 2020 Position-level指标情况
![00e639231aded65dc44bdebc0b3205ee.png](https://i-blog.csdnimg.cn/blog_migrate/2d0db6c25e68586670bd3dae86a20d5e.png)
纵观最近几年的比赛成绩,中文语法检错技术不断进步,检错效果在不断提升。
原来,随着深度学习相关技术的快速发展,越来越适合任务本身的模型被研究出来;并且随着预训练语言模型的发展,更多的外部知识被加入到模型中,使得模型的表征能力越来越强。HFL就是以深度学习技术与预训练语言模型为基础,结合集成学习相关技术,完成对语病的精准识别、定位与修正。
真题实战,看看这位A.I.冠军如何修炼
本次HFL参赛评测方案,主要分为检测和修正两部分,相关工作发表在NLPTEA 2020 workshop中,论文题目为《Combining ResNet and Transformer for Chinese Grammatical Error Diagnosis》。
在检测任务中,我们提出了ResBERT模型,在BERT模型基础上融入残差网络,增强输出层中每个输入字的信息,使模型可以更好地检测语法错误位置。
在修正任务中,由于序列标注模型无法直接给出语法错误的修正结果,我们针对缺失错误和用词不当错误分别采用如下两种方法进行修正:针对缺失错误,我们首先预测缺失位置缺失的字数,然后再使用BERT语言模型生成修正候选结果,最后通过比较多个候选修正句子的困惑度来确定缺失修正结果。针对用词不当错误,我们使用RoBERTa模型选取候选字,然后再综合考虑字音、字形相似度以及语言模型打分来选出最终的修正结果。
因此,要想提升语病修正的效果并在实际产品中应用,对于篇章级文本的诊断分析是非常有必要的,这也给未来的评测和技术提出了更高的要求。
技术落地应用,我们让A.I.走得更远
在坚持核心技术研究不断创新进步的同时,我们也不断让A.I.赋能于应用,服务于生活的方方面面。
多种办公场景下,人们长时间从事文字工作难免出错。无论是撰写文档,还是在信息共享与储存场景中,当前流行的办公工具对中文文本校对未能提供很好支持,智能办公亟待升级。 HFL基于长期以来的技术积累,早在2019年12月1日,便正式发布了“飞鹰智能文本校对系统”: http://202.85.216.21:8095/review 。 飞鹰校对涵盖文本校对的别字纠错、语法纠错、标点纠错及敏感词检测等不同校对模块,并且可针对不同领域的文本校对需求,为行业客户提供定制化的解决方案,现已支持通用领域、司法领域和教育领域文本校对服务。最近这项技术也在讯飞开放平台上线,为广大开发者提供文本纠错能力,欢迎体验(https://mp.weixin.qq.com/s/wXrHcv2sLYASCgx6Su4IlA)。
![2005ccf3d09d4e7c23c0dee71e227fa0.png](https://i-blog.csdnimg.cn/blog_migrate/85a14ff29bc2643a7822523936eb402a.jpeg)
此外,中文语法错误诊断技术还被应用于作文自动批改中,包括错别字修正、语法检错等功能,目前已在中小学作业、讯飞学习机等产品中应用落地,辅助减轻老师作文批改的工作负担,也可以帮助学生在自主学习中及时获得作文批改的反馈。
![76e9dbd405e048e1b9fd51c480a8ae2a.png](https://i-blog.csdnimg.cn/blog_migrate/7a1704f2d58b61bbf7c1ba6d600f7098.png)
未来,随着技术的不断进步,以中文语法错误诊断与修正技术为核心的文本校对将在编辑出版、公文撰写、作文批改以及广大自媒体文稿写作等场景中发挥越来越大的作用,应用前景广阔。
•••
布局讯飞超脑,HFL让机器能理解会思考
哈工大讯飞联合实验室(HFL)是科大讯飞针对“讯飞超脑”项目计划,重点引进和布局的核心研发团队之一,成立于2014年,由哈尔滨工业大学社会计算与信息检索研究中心(HIT-SCIR)与科大讯飞AI研究院共同创办。2017年至2019年,哈工大讯飞联合实验室在国际权威机器阅读理解评测SQuAD、SQuAD 2.0多次获得冠军。其中2019年3月,在SQuAD 2.0评测中全球首次超过人类平均水平并成为里程碑事件。2018年获得国际语义评测(SemEval 2018)阅读理解赛道冠军。2019年至2020年,在多步推理阅读理解评测HotpotQA双赛道均获得冠军。2020年,在国际权威通用自然语言理解评测GLUE中获得冠军。
![843916e3158681247345f865c8e8fec5.png](https://i-blog.csdnimg.cn/blog_migrate/692ff0a7131edc3701368898b377bc11.png)