介绍
ChatGPT,美国OpenAI 研发的通用任务聊天机器人 ,于2022年11月30日发布。ChatGPT能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、文案、翻译、代码、写论文等任务。
ChatGPT的能力
chatGPT这种模型,从用户直观感受,可以将能力分成三个层面:世界知识、推理能力、表达能力。
chatGPT最应该受到关注的应该是推理能力,其次是表达能力和推理能力。而表达能力的提升,也有推理能力提升作为基础。
chatGPT这些能力是从哪里获取的,又是怎么发展的,下面根据各方的研究,整理如下。
上图是GPT3和GPT3.5的一个发展路线。从这个发展路线来看,chatGPT能力的来源。
- 世界知识。GPT-3开始, 大模型已经获得了世界知识,具备了理解常识和事实性知识的能力。
- 推理能力(CoT)。目前有较多人认为是让模型多读一些代码预料有助于培养推理能力,而原因是代码的多层次结构和面对对象编程,提升了推理能力。CodeX(Code-davinci-002)比之前的模型的推理能力有较大的提升,也可以证明这点。但这些目前都只是猜测。
- 表达能力。通过对GPT-3.5进行RLHF(基于人类反馈的强化学习),解锁和激发了上述能力,得到更强的模型,这里产生两个分支,擅长上下文学习的text-davinci-003(