@创建于:20220521 @修改于:20220521 文章目录 NLP中的预训练语言模型(一)—— ERNIE们和BERT-wwm NLP中的预训练语言模型(二)—— Facebook的SpanBERT和RoBERTa XL-Net和Transformer-XL NLP中的预训练语言模型(四)—— 小型化bert(DistillBert, ALBERT, TINYBERT) NLP中的预训练语言模型(五)—— ELECTRA NLP算法面试必备!PTMs:NLP预训练模型的全面总结 NLP-预训练模型:综述【基础:BERT】【预训练任务优化:ERNIE、SpanBERT】【训练方法优化:RoBERTa、T5】【模型结构优化:XLNet、ALBERT、ELECTRA】【模型轻量化】 NLP预训练模型1 – 综述