以下是一些中文 BERT 系列的模型:
- BERT-Base, Chinese: 中文 BERT 基础版
- BERT-Large, Chinese: 中文 BERT 大型版
- BERT-WWM, Chinese: 中文 BERT 加入了 whole word masking 的版本
- BERT-WWM-Ext, Chinese: 中文 BERT 加入了 whole word masking 且扩展了训练数据的版本
- ALBERT-Base, Chinese: 中文 ALBERT 基础版,在 BERT 的基础上进行了参数压缩和优化
- ALBERT-Large, Chinese: 中文 ALBERT 大型版
- ALBERT-XLarge, Chinese: 中文 ALBERT 超大型版
- RoBERTa-Base, Chinese: 中文 RoBERTa 基础版,在 BERT 的基础上进行了进一步优化
- RoBERTa-Large, Chinese: 中文 RoBERTa 大型版
- RoBERTa-WWM, Chinese: 中文 RoBERTa 加入了 whole word masking 的版本
- RoBERTa-WWM-Ext, Chinese: 中文 RoBERTa 加入了 whole word masking 且扩展了训练数据的版本
- XLM-RoBERTa-Base, Chinese: 中文 XLM-RoBERTa 基础版,在 RoBERTa 的基础上使用了多语言训练数据
- XLM-RoBERTa-Large, Chinese: 中文 XLM-RoBERTa 大型版
- GPT-2, Chinese: 中文 GPT-2,自然语言生成模型
- T5, Chinese: 中文 T5,自然语言生成模型
- ERNIE-Base, Chinese: 中文 ERNIE 基础版,在 BERT 的基础上加入了知识预先训练
- ERNIE-Large, Chinese: 中文 ERNIE 大型版
- ERNIE-Baidu, Chinese: 百度开发的中文 ERNIE 模型
- ERNIE-Gen, Chinese: 中文 ERNIE