几种预训练模型：bert-wwm,RoBERTa,RoBERTa-wwm

bert-large：24层，330M参数

bert-base：12层，110M参数

1.bert-wwm

wwm即whole word masking（对全词进行mask），谷歌2019年5月31日发布，对bert的升级，主要更改了原预训练阶段的训练样本生成策略。改进：用mask标签替换一个完整的词而不是字。

2.bert-wwm-ext

bert-wwm的升级版，改进：增加了训练数据集同时也增加了训练步数。

3.RoBERTa

相对于Bert的改进：更多的数据、更多的训练步数、更大的批次(8000)，用字节进行编码以解决未发现词的问题。去除了Next Sentence任务。

RoBERTa中文版：https://github.com/brightmart/roberta_zh

6层体验版：200M RoBERTa-zh-Layer6

RoBERTa-zh-L12：已下载，364M。没有找到24层的Pytorch版本。

https://github.com/ymcui/Chinese-BERT-wwm 相关说明

RoBERTa-wwm-ext-large：1.21G 已下载。

RoBERTa-wwm-ext

4.SpanBERT

分词级别的预训练方法。不再是对单个Token进行掩码，而是随机对邻接分词添加掩码。去除了Next Sentence任务。

5.ERNIE2

采用Multi-task进行预训练，训练任务有词级别、结构级别、语义级别三类。

多任务是轮番学习，学习完一个任务再学习下一个任务，不同任务使用相应损失函数。