大语言模型系列-GPT-3.5(ChatGPT)

---

前言

《Training language models to follow instructions with human feedback，2022》

前文提到了GPT-3的缺点，其中最大的问题是：语言模型更大并不能从本质上使它们更好地遵循用户的意图，大型语言模型可能生成不真实、有害或对用户毫无帮助的输出。

GPT-3.5正是基于此问题进行的改进，它通过对人类反馈进行微调，使语言模型与用户在广泛任务中的意图保持一致，专业术语是对齐（Alignment）。

ps：ChatGPT和InstructGPT是一对兄弟模型，是在GPT-4之前发布的预热模型，有时候也被叫做GPT-3.5。ChatGPT和InstructGPT在模型结构，训练方式上都完全一致，即都使用了指示学习（Instruction Learning）和人工反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）来指导模型的训练，它们不同的仅仅是采集数据的方式上有所差异。

---

一、GPT-3.5的创新点

1. 指示学习（Instruct Learning）和提示学习（Prompt Learning）

ps：指示学