大白话谈谈ChatGPT：多点人工，多点智能

对于NLP领域，本人也是门外汉，就是最近了看到的博文，记录自己的一些体会。

 

---

ChatGPT简介

ChatGPT的全称是"Conversational Generative Pre-training Transformer"，中文翻译为"对话生成式预训练转换器"。是一种基于自然语言处理的人工智能模型，由OpenAI团队开发，它是一种基于深度学习的语言模型，专门用于对话系统中，旨在使机器人能够自然地与人类进行对话。

ChatGPT的核心技术是GPT（Generative Pre-trained Transformer）模型，这是一种预先训练的自然语言处理模型，它是通过大规模文本数据集的预训练来学习自然语言的语法、语义和上下文关系，从而使得在新的任务中微调时，能够更加高效准确地进行文本生成、摘要、问答等自然语言处理任务。

大白话解释一下就是ChatGPT是在原有预先训练的大模型的基础上，进行一些“微微”的调整就得到了现在强大的能力。

那具体这个大模型有多大，就得提一下GPT系列，也就是生成式预训练模型。现在GPT系列已经到了GPT-3，GPT-4也在路上了，可以看看这个大模型的参数量。

 

1750亿参数，45TB数据，懂行的不懂行的都能感受到这个大模型是真不小。

那这么多参数，那么多数据，这个大模型岂不是很好了。当然是有不足的，预训练模型自诞生之始，一个备受诟病的问题就是预训练模型的偏见性。因为预训练模型都是通过海量数据在超大参数量级的模型上训练出来的，对比完全由人工规则控制的专家系统来说，预训练模型就像一个黑盒子。没有人能够保证预训练模型不会生成一些包含种族歧视，性别歧视等危险内容，因为它的几十GB甚至几十TB的训练数据里几乎肯定包含类似的训练样本。

换句