一、 预训练语言模型有哪些类别:
主要分为如下五类
- Autoregressive Models,自回归语言模型:代表为 GPT,主要用于生成式任务;
- AutoEncoding Models,自编码语言模型:代表为 BERT,主要用于自然语言理解任务;
- Seq-to-seq Models,端到端语言模型:代表为 BART、MASS,即序列到序列的结构,模型同时包含 Encoder 和 Decoder 结构,主要用于基于条件的生成式任务,如机器翻译、自动摘要生成等;
- MultiModal Models:即多模态模型;
- retrieval-based Models:基于召回的语言模型,主要用于开放域问答任务;
参考文献:
- https://blog.csdn.net/sinat_32332805/article/details/122429599