GPT发展史

不知道大家是否还记得年初刷屏的 DALL·E2 ？因为它的爆火，大家开始不约而同的讨论起 AI 绘画会不会代替设计师的工作，这个话题至今还被人常常提起。最近，OpenAI 再放大招，推出的 ChatGPT 席卷网络，大家又开始讨论内容创作者、技术从业者、甚至HR岗位是否也会被取代！

但事实真的如此吗？GPT 真的有如此大的能力吗？今天就和大家一起看看 GPT 是如何“筹谋”抢走大家“饭碗”的。

GPT 发展史

Generative Pre-trained Transformer (GPT)，即基于互联网可用数据训练的文本生成深度学习模型。要讨论 GPT 就不得不谈谈他的东家 OpenAI ，在 2016 年成立时，公司主要目标包括制造“通用”机器人和使用自然语言的聊天机器人，如今它的核心宗旨仍是“实现安全的通用人工智能( AGI )”，这也给很多人造成了误解，觉得 GPT 的未来即是 AGI ，但是事实真的如此吗？

我们先来一起了解下GPT的发展史！

GPT-1

众所周知，2018年是自然语言处理（NLP）的预训练模型元年，也是这一年，GPT-1 诞生了。

GPT-1 所用的模型结构是 Transformer Decoder 结构，共 12 层。

这在当时来说已经是一个很庞大的模型了，但在性能方面还只能用于监督和任务无关的任务。

（ Transformer Decoder 模型）

常用任务包括：自然语言推理、问答与常识推理、语义相似度识别、分类。

GPT-2

时隔一年，一句“Too Dangerous To Release”和 GPT-2 一起爆红网络，也打响了 OpenAI 声名显