ChatGPT以及LLM（大语言模型）的思考

一、ChatGPT简介

ChatGPT本质是一个对话模型，它可以回答日常问题、挑战不正确的前提，甚至会拒绝不适当的请求，在去除偏见和安全性上不同于以往的语言模型。ChatGPT从闲聊、回答日常问题，到文本改写、诗歌小说生成、视频脚本生成，以及编写和调试代码均展示了其令人惊叹的能力。在OpenAI公布博文和试用接口后，ChatGPT很快以令人惊叹的对话能力“引爆”网络，本文主要从技术角度，梳理ChatGPT背后涉及的技术工作LLM，来阐述其如此强大的原因；同时思考其对我们目前的实际工作和方法论的改变，包括可复用和可借鉴之处。ChatGPT其关键能力来自三个方面：强大的基座大模型能力（InstructGPT），高质量的真实数据（干净且丰富），强化学习算法（PPO算法）。

为何三段式的训练方法就可以让ChatGPT如此强大？其实，以上的训练过程蕴含了上文我们提到的关键点，而这些关键点正是ChatGPT成功的原因：

• 强大的基座模型能力（InstructGPT）；
• 大参数语言模型（GPT3.5）；
• 高质量的真实数据（精标的多轮对话数据和比较排序数据）；
• 性能稳定的强化学习算法（PPO算法）