哈工大讯飞联合实验室结合中文Whole Word Masking技术和RoBERTa模型，发布预训练模型RoBERTa-wwm-ext，提升中文信息处理任务性能。该模型在多项自然语言处理任务中取得显著效果，如阅读理解、司法阅读理解和自然语言推断。模型训练数据总计5.4亿词，直接使用max_len=512进行预训练，并取消了Next Sentence Prediction。
哈工大讯飞联合实验室(HFL)相继发布了基于Whole Word Masking(WWM)的中文预训练BERT模型(BERT-wwm，BERT-wwm-ext)以及中文预训练XLNet模型(XLNet-mid，XLNet-base)，受到了业界广泛关注以及下载使用。近期，Facebook提出的RoBERTa模型进一步刷新了多个英文数据集的最好成绩，成为目前最流行的预训练模型之一。哈工大讯飞联合实验室结合中文Whole Word Masking技术以及RoBERTa模型发布中文RoBERTa-wwm-ext预训练模型。该模型在使用上与中文BERT系列模型完全一致，无需任何代码调整即可使用。通过实验验证该模型在多个自然语言处理任务中取得了显著性能提升。我们欢迎各位专家学者下载使用，进一步促进中文信息处理的研究发展。
项目地址：https://github.com/ymcui/Chinese-BERT-wwm
中文RoBERTa-wwm-ext
本次发布的中文RoBERTa-wwm-ext结合了中文Whole Word Masking技术以及RoBERTa模型的优势，得以获得更好的实验效果。该模型包含如下特点：
预训练阶段采用wwm策略进行mask(但没有使用dynamic masking)
最低0.47元/天 解锁文章
扫一扫
7
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
