GPT系列介绍

什么是Chat-GPT

• 2022.11.30

GPT-1介绍

• OpenAI
  • 2018.06
  • 开源
• AR（Auto Regression）
  • Decoder-only
• Improving Language Understandingby Generative Pre-Training
• 有监督的下游任务微调
• 训练数据集
  • 5GB
• 模型参数
  • 1亿

GPT-2介绍

• OpenAI
  • 2019.02
  • 开源
• AR（Auto Regression）
  • Decoder-only
• Language Models are Unsupervised Multitask Learners
• Zero-Shot
• 训练数据集
  • 40GB
• 模型参数
  • 15亿

GPT-3介绍

• OpenAI
  • 2020
  • 开源
• AR（Auto Regression）
  • Decoder-only
• Language Models are Few-Shot Learners
• Few-Shot
• 训练数据集
  • 45TGB清洗后570GB
• 模型参数
  • 1750亿
• 无监督
  • 训练
• 有监督
  • 微调

Chat-GPT介绍

• OpenAI
  • 2022.11.20
  • 开源
• AR（Auto Regression）
  • Decoder-only
• 3.5系列
• RLHF
  • 智能体（agent）与环境交付
  • 追求最大回报
• 无监督
  • 训练
• 有监督
  • 微调
• 强化学习
  • 反馈RM