预训练笔记

一、 预训练语言模型有哪些类别：

主要分为如下五类

1. Autoregressive Models，自回归语言模型：代表为 GPT，主要用于生成式任务；
2. AutoEncoding Models，自编码语言模型：代表为 BERT，主要用于自然语言理解任务；
3. Seq-to-seq Models，端到端语言模型：代表为 BART、MASS，即序列到序列的结构，模型同时包含 Encoder 和 Decoder 结构，主要用于基于条件的生成式任务，如机器翻译、自动摘要生成等；
4. MultiModal Models：即多模态模型；
5. retrieval-based Models：基于召回的语言模型，主要用于开放域问答任务；

参考文献：

• https://blog.csdn.net/sinat_32332805/article/details/122429599