ChatGPT的来源-InstructGPT论文简要介绍

---

前言

现在大火的ChatGPT功能十分强大，不仅可以回答用户问题，编写故事，甚至还可以写代码。ChatGPT跟OpenAI之前发表的InstructGPT使用的模型方法比较类似，只是训练的数据不同，为了探索ChatGPT的原理，笔者找来2022年3月发表的InstructGPT的论文，做了简要的介绍。

---

一、ChatGPT是什么？

ChatGPT，美国OpenAI 研发的聊天机器人程序 ，于2022年11月30日发布 。ChatGPT是人工智能技术驱动的自然语言处理工具，它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流，甚至能完成撰写邮件、视频脚本、文案、翻译、代码，写论文等任务。

二、ChatGPT的前身InstructGPT论文解读

论文下载地址：

https://arxiv.org/abs/2203.02155

主要内容：

这篇文章的主要内容是大型语言模型并不能很好的遵循用户的意图，这些模型生成的内容可能对用户毫无帮助，与用户的期待并不一致。为了解决这个问题，InstructGPT使用引入了人类反馈来训练模型，虽然模型仍然有一些小的错误，但是这种方法给大型语言模型输出结果与人类期望一致提供了未来的研究方向。ChatGPT也是在InstructGPT模型的基础上开发出来的。

模型训练

训练模型主要有三个步骤，