炸裂!GPT5 发布日期曝光, 附GPT系列模型发展历程

大家好啊,我是董董灿。

作为最受欢迎的大模型之一,GPT5什么时候发布一直吊着网友们的胃口。

2024年6月20日,美国达特茅斯工程学院公布了对OpenAI首席技术官米拉·穆拉蒂(Mira Murati)的采访视频。

米拉在采访中透露,GPT5将在一年半后发布,该模型在某些领域已经将达到博士的水平。

图片

如果说 GPT3 是幼儿园或小学的智能水平,GPT4 是高中生的水平,那么GPT5 则直接可以达到博士的水平。

虽然这么说有些夸张,但博士水平意味着 GPT5 可以在某些特定任务中具有更好的表现,而非通用水平表现。

也就是说,在某些特定任务中,模型更加专业,水平更高,或许是得益于模型训练中有更多的专业语料的加持。

事实上,GPT系列一直走的路线是“大力出奇迹”。

在chatGPT(gpt3.5的水平)爆火之前,GPT1和GPT2都没有在社会上掀起很大的波澜,直到 chatgpt破圈。

下面是OpenAI从发布 GPT1到GPT4的过程和相关模型的简介。

GPT1

在2018年,OpenAI开始在生成式预训练领域进行大模型训练,推出了GPT1,采用Transformer架构来增强模型对于自然语言的理解能力。

该模型在他们的论文《Improving Language Understanding by Generative Pre-Training》中进行了详细描述,但是该模型仅仅作为概念和模型原型验证,并未公开发布。

有意思的是,此时 OpenAI 并未给模型起名字,而是网友根据该篇论文的题目,将生成式预训练的英文缩写当做了模型的名字。

GPT由此而来,名字是网友给起的,后来官网也欣然接受了这个名字。

GPT2

一年后,OpenAI发布了GPT2,展示了文本生成方面的显著改进,GPT2能够生成简短的文本段落,相较于其前身GPT1取得了显著进步。

GPT2是公开发布的,你可以从社区和相关的代码仓库中拿到很多数据进行实验。

实际上,GPT2是OpenAI为了向BERT(Bidirectional Encoder Representations from Transformers,Google的大模型)进行回应而做出的论文。

是为了证明基于Decoder-Only 的架构要比BERT这种基于Encoder的架构要好,或者一样有效果。

但是从GPT2开始,模型的发展开始朝着一个奇怪的方向演进了:那就是参数量越来越大,此时的GPT2有1.5B个参数,也就是15亿。

GPT3

在2020年,OpenAI发布了GPT3,大幅度增加了模型的规模,其参数数量是GPT2的100倍,达到了175B,1750亿个参数

参数量的增长,使得GPT-3能够生成更长、更连贯的文本,并且在各种任务中表现出色。

ChatGPT作为GPT3.5系列中的专注于对话的模型,展示了生成类似人类文本的惊人能力,并且在当时迅速获得了广泛采用,在短短两个月内达到了1亿用户。chatGPT 一年前的初体验.

GPT4

GPT4是该系列的最新版本,凭借更大的数据集和更多的参数,GPT4在自然语言理解和生成能力上优于GPT3,它在生成连贯、上下文相关的长文本方面表现的更好,并在复杂对话场景中的理解能力有所提升。

GPT4 有着1.5T的参数量,大约是1.5万亿的量级。

GPT4的进步包括更细腻的上下文理解、更高的准确性以及减少生成偏见或有害内容的能力。

它的应用范围非常广泛,从高级对话代理到复杂内容创作工具,展示了其多功能性和AI驱动的自然语言处理技术的不断演变。

在2023年11月,OpenAI推出了具有视觉功能的GPT4 Turbo,更新了多个特性。

随后在2024年5月,推出了GPT4o,这是一款多模态模型,提供了更快的响应速度。

GPT5

GPT5是 OpenAI GPT系列的下一个版本。

尽管关于这一版本的信息还比较少,但我们知道GPT4就是在其前身的基础上取得了显著改进,特别是在逻辑推理能力方面。

GPT4的训练数据截止到2023年4月,这之后的事情它还不了解,但GPT4依然拥有着广泛的知识基础和对世界的深刻理解。

因此,按照OpenAI以往的经验和惯例,GPT5将遵循相同的趋势,进一步扩大其规模,改进现有的GPT4模型。

GPT5的更多细节还不清楚,你觉的它的参数量将会达到什么量级呢?

我的技术专栏已经有几百位朋友加入了。

如果你也希望了解AI技术,学习AI视觉或者大语言模型,戳下面的链接加入吧,这可能是你学习路上非常重要的一次点击呀

CV视觉入门第三版(细化版)完成

我的Transformer专栏努力更新中

最后,送一句话给大家:生活不止眼前,还有诗和远方,共勉~

  • 10
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董董灿是个攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值