中文 哈工大_中文最佳，哈工大讯飞联合发布全词覆盖中文BERT预训练模型

机器之心报道

参与：一鸣

昨日，机器之心报道了 CMU 全新模型 XLNet 在 20 项任务上碾压 BERT 的研究，引起了极大的关注。而在中文领域，哈工大讯飞联合实验室也于昨日发布了基于全词覆盖的中文 BERT 预训练模型，在多个中文数据集上取得了当前中文预训练模型的最佳水平，效果甚至超过了原版 BERT、ERINE 等中文预训练模型。

基于 Transformers 的双向编码表示(BERT)在多个自然语言处理任务中取得了广泛的性能提升。在预训练语言模型时，需要对语料进行 mask 操作，使模型在看不见 token 的情况下对 mask 的词语进行预测。

然而，基于单个 token 的 mask 方法训练中文语料，可能忽略了中文分词的作用。因此，如果能够 mask 词语中每一个组成的 token，可以更好的捕捉词与词的边界关系。

为了利用这种思想提升预训练模型在中文的表现，百度发布了知识增强的表示模型 ERNIE，在中文数据集的表现中超过了 BERT。近期，谷歌发布了基于全词覆盖(Whold Word Masking)的 BERT 预训练模型，则进一步提升了 BERT 模型的性能水平。

然而，由于全词覆盖的 BERT 模型的研究测试集中于国外公开数据集，缺乏一种中文语言的相关模型。昨天，哈工大讯飞联合实验室发布了全词覆盖的中文 BERT 预训练模型。模型在多个中文数据集上取得了当前中文预训练模型的最佳水平，效果甚至超过了原版 BERT、ERINE 等中文预训练模型。

• 论文地址：https://arxiv.org/abs/1906.08101

• 开源模型地址：https://github.com/ymcui/Chinese-BERT-wwm

• 哈工大讯飞联合实验室的项目介绍：https://mp.weixin.qq.com/s/EE6dEhvpKxqnVW_bBAKrnA

引言

基于 Transformer 的双向编码表示(Bidirectional Encoder Representations from Transformers)已经在多个自然语言处理数据集，如 SQuAD、CoQA、QuAC 等上取得了当前的最佳水平。而在这之后，谷歌发布了全词覆盖的预训练 BERT 模型。在全词 Mask 中，如果一个完整的词的部分 WordPiece 被 [MASK] 替换，则同属该词的其他部分也会被 [MASK]