LLM主要类别
- Encoder
- Decoder
- Encoder-Decoder
自编码模型
- AE(Auto Encoder)
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- 2018.10
- NLU
- 阅读理解
- 情感分析
- 预训练模型的任务
- 优点
- 适合NLU
- 缺点
- 不适合NLG
- 低秩问题
自回归模型
- AR(Auto Regression)
- Improving Language Understandingby Generative Pre-Training
- Decoder
- GPT
- 上文或者下文
序列到序列模型
- encoder-decoder
- T5
- BART
大模型主流架构
- Decoder-only