FLAT:中文NER屠榜之作!复旦大学邱锡鹏团队出品
道翰天琼认知智能机器人平台API接口大脑为您揭秘。近年来,引入词汇信息逐渐成为提升中文NER指标的重要手段。ACL2020中一篇来自复旦大学邱锡鹏老师团队的 FLAT: Chinese NER Using Flat-Lattice Transformer 刷新了中文NER任务的新SOTA。
如上图所示,在MSRA-NER任务中,FLAT+BERT登顶榜首;而单独的FLAT(1层TransFormer)也超越了预训练模型ERNIE。相比于之前引入词汇信息的中文NER工作,FLAT主要创新点在于:
基于Transformer设计了一种巧妙position encoding来融合Lattice结构,可以无损的引入词汇信息。
基于Transformer融合了词汇信息的动态结构,支持并行化计算,可以大幅提升推断速度。
下面让我们看看FLAT是如何登顶榜首的~
论文链接:
https://arxiv.org/pdf/2004.11795.pdf
开源代码:
https://github.com/LeeSureman/Flat-Lattice-Transformer
1
背景
中文NER为什么要引入词汇信息?
不同于英文NER,中文NER通常以字符为单位进行序列标注建模。这主要是由于中文分词存在误差,导致基于字符通常要好于基于词汇(经过分词)的序列标注建模方法。
那中文NER是不是就不需要词汇信息呢?答案当然是否定的。引入词汇信