ACL2022 | 利用中文语言层级异质图强化预训练语言模型

北京大学数据管理实验室李彦增博士《Enhancing Chinese Pre-trained Language Model via Heterogeneous Linguistics Graph》被ACL 2022收录。

这篇论文提出了一种用于表达中文字-词-句语言学结构关系的异质图（Heterogeneous Linguistics Graph, HLG）。并利用图神经网络建模，在该HLG异质图上实施多步信息传播（Multi-Step Information Propagation, MSIP）以在预训练语言模型的微调阶段训练神经网络的参数。使用这样的HLG建模中文自然语言的结构可以自然而有效地引入分词结构化信息，从而提升原生预训练语言模型在中文上的效果，实验证明该方法在多个基准数据集上得到了稳定的提升。同时，相比起前人发表在ACL 2020年的工作[1]（MWA），此论文使用的MSIP和HLG建模在训练、推理速度上有着明显的优势，在不降低性能的情况下提升了约7倍的训练与推理速度。

01

—

问题背景

近年来，以BERT为代表的预训练语言模型方法在各个NLP任务中得到了广泛的应用。典型的预训练语言模型应用方法可以归结为预训练-微调两阶段模式，即先通过在大规模无标注语料库上进行无监督、自监督预训练，然后通过监督训练迁移到具体的下游任务中使用。而针对中文自然语言处理，研究者们提出了各类适配中文语言特性的预训练语言模型，如ERNIE[2]、Glyce[3]等，尽可能利用中文本身的一些性质（例如中文分词、中文字形等）来提升预训练任务的效果。Li等人[1]基于向预训练语言模型融入中文分词的动机提出了MWA模型，试图向原生的预训练语言模型中融入词汇级别特征，与其它专注与预训练的工作不同的是，MWA是在微调的阶段来进行外部信息的融入的，如下图所示：

这样的方式有个好处，可以避免重新预训练所带来的高昂代价，并且实验证明了这样的方法可以在多个中文自然语言处理任务上对原生的BERT等模型带来有效的提升。

MWA是利用一种非标准形式的分段式attention方法，将中文的分词切割信息应用到字符表示产生的attention权重上，对同一个词中的不同字进行mix-pooling聚合，