Tech Talk | ChatGPT的技术演进及问答应用

去年12月1号，自Sam Altman在Twitter上公开宣布ChatGPT后，ChatGPT逐步引发了全球瞩目。据新华社报道，在今年1月份ChatGPT已经拥有了一亿的月活用户，成为了历史上增长最快的应用程序。甚至，斯坦福大学有研究认为它已经具有了人类的心智。

尽管ChatGPT有时会存在事实错误，但是其所拥有的内在的开放域知识、遵循人指示的语言理解能力、代码编写、数学计算、常识推理给我们带来了极大的震撼。就开放域问答这一领域来说，ChatGPT已经完全不同于之前常见的问答技术，带来了全新的范式和变革。

“ 

本期的Tech Talk，我们邀请到了小米知识问答团队的工程师——刘惠文，为大家介绍ChatGPT的技术演进及问答应用，包括ChatGPT相关的工作和技术，并探讨ChatGPT会给小爱的开放域问答服务带来什么样的转变。

”

硬核指数：⭐⭐⭐⭐⭐

趣味指数：⭐⭐⭐

阅读时长：约14分钟

一、技术背景

ChatGPT由OpenAI推出，OpenAI是2015年由硅谷大佬里德·霍夫曼、埃隆·马斯克等人创办的非盈利(初始目标)的实验室，旨在研究通用的人工智能技术AGI。ChatGPT也算是在其宗旨下的一个阶段性的成果。

目前其学术论文还没有被公开,不过OpenAI在他们的博客中提到，ChatGPT是基于他们前面的InstructGPT发展而来。其中涉及到GPT系列的相关工作，还有IFT(Instruction Fine-Tuning)、CoT(Chain-of-Thought)和RLHF(Reinforcement Learning from Human Feedback)等。除此之外，目前人们还认为OpenAI的另一份工作Codex也与之相关。总的来说，ChatGPT不是突然出现的，之前的大量研究和技术积累为它的出现创造了条件。

值得一提的是，很多工作并非由OpenAI首创。甚至Meta首席科学家Yann LeCun认为“ChatGPT并没有多大的创新，只是组合的很好，就其底层技术，除了Google和Meta，还有好几家公司都有相似的技术”。但是OpenAI站在前人的肩膀上，借鉴和吸纳了其他的技术最终成就了ChatGPT。在这里，我们首先介绍ChatGPT诞生的技术背景。

 >>>> 1.1 GPT1-3

ChatGPT被认为是在GPT系列模型(GPT3.5)的基础上，经过微调和人工反馈强化学习训练得到。GPT(Generative Pre-Training)是一种语言模型(Language Model),最早的模型GPT1在2018年6月由OpenAI推出。GPT1拥有约一亿个可学习的参数，采用自然语言处理(NLP)任务中常见的预训练+微调的模式。值得一提的是，GPT1模型随后被Google团队借鉴和修改，于当年10月份推出了BERT。而在ChatGPT之前，BERT被认为是NLP领域上一个跨时代的工作。

GPT2模型在BERT之后于19年2月份推出。相比GPT1，它具有了更多的参数，达到了15亿，不过它在预训练+微调的模式下仍旧弱于BERT。但是从GPT2开始，OpenAI转变了视角，开始从预训练+微调的模式改为零样本学习。随后而来的Prompt, Instruction以及最终ChatGPT能够自然地与用户交互，都发轫于这一转变。就知名度来说，GPT2可能不如开篇之作GPT1和后面的GPT3，但它承上启下十分的重要。

GPT3在GPT2基础上，于20年5月份推出。它的训练参数达到了1750亿个。这么大规模的参数，需要耗费大量的计算资源才能完成训练，训练花销已高达数百万美元，引发了大型语言模型的新一轮军备竞赛。

GPT3有比较重要的两点ÿ