新版GPT-4omini上线!快!真TM快!

大半夜,OpenAI突然推出了GPT-4o mini版本。

当我看到这条消息时,正准备去睡觉。mini版本质上是GPT-4o模型的精简版本,没有什么革命性的创新,因此我并没有太在意。

结果今天早上一觉醒来发现伴随GPT-4o mini上线,官网和APP的GPT-3.5消失在了对话界面当中。

这意味着,GPT-3.5正式告别了。虽然已经很长时间没有使用GPT-3.5,但它毕竟是掀起AI浪潮的一个标志性模型,也是带领我步入AI行业的关键力量。

所以当看到GPT-3.5被下架时,心中难免有些悸动。这就像是很久未联络的朋友突然悄无声息地离开,留下一丝淡淡的忧伤和回忆。不过,常言道,旧的不去新的不来。如果GPT-4o mini的推出是为了取代GPT-3.5,那么这个变化还是值得期待的。

我也已经第一时间给兄弟们更新了GPT-4o mini,直接在猿人AI就可以白嫖使用了:

演示:

GPT-4omini放出来给大家免费用,必须给我点个赞,不能纯白嫖!

自从OpenAI推出sora以来,这半年里基本上没有什么显著的进展。特别是与去年相比,当时每次新产品发布都能在AI界引起广泛关注,而今年似乎稍显力不从心。

Sora的开放使用一直遥遥无期,sora之后发布的只有一个不怎么引人注目的4o版本,关键的视频通话功能也一直未能开放。此外,这半年内OpenAI官网频繁出现故障,很可能是由于算力受限。

估计也是受到了Claude中杯、大杯、超大杯的启发,OpenAI也推出了中杯GPT-4o mini,对标Claude的Haiku。

既然算力受限,大型模型暂时难以发挥,那么不妨将焦点转向开发小型模型。

用两个词概括GPT-4o mini就是:物美价廉、轻快灵敏。

一、物美价廉:极高性价比根据官网发布的模型数据来看,GPT-4o mini在性能上倒不算含糊。

GPT-4o mini在推理基准结果MMLU上得分为 82%,前性价比之王的Claude Haiku得分是73.8%,高出了将近10%的水准。而在MGSM数学推理能力基准测试中,GPT-4o mini得分达到了 87.0%,Claude Haiku 的得分是71.7%,直接高出了15%。

从数据上来看,不仅全面超越了GPT-3.5,更是干掉了一众轻量级主流模型。不过别看它小,GPT-4o mini能处理128K token的长上下文,这个记忆长度相当可以了。在一些特定应用上,表现甚至可与GPT-4 Turbo相媲美此外,根据OpenAI的介绍,GPT-4o mini将支持多模态功能,未来还将增加对图片、音频和视频的支持。

(但是按照OpenAI的习惯,具体什么时候集成就说不好了,毕竟有Sora和GPT-4o这两个前车之鉴)再说说价格,每百万输入tokens只要15美分,输出tokens也才60美分,比GPT-3.5 便宜了60%。

这价格,甚至比大多数国产大模型的价格还要低。真就是比白菜还白菜价。我估计不少开发者要笑醒了,终于可以不用啃方便面也能玩得起GPT-4了。

二、轻快灵敏:超快速响应轻量级模型的最大优点在于其快速的响应时间。相比GPT-4.0,GPT-4o已经有了显著的速度提升,而GPT-4o mini的速度则更上一层楼。

我在官网进行了测试,发现GPT-4o mini的回应速度甚至超过了我的网络速度,几乎可以实现零延迟。在问题还未完全显示出来时,回答几乎已经完成,连续输出的速度快到几乎无法察觉。

只能说快,是真**快!看样子之后限制GPT回复速度的唯一瓶颈就是大家的网速了。

目前官网上的GPT-4o mini只开放了基础的文本对话功能,图像、音视频这些多模态还没有开放。套了一下GPT-4o mini的官方Prompt

知识库的截止日期和GPT-4o一样,是到23年的10月份。不过和GPT-4o相比,没有联网、绘图以及其他多模态能力,所以GPT-4o mini的Prompt几乎是相当于什么都没有。

确实,GPT-4o mini之所以能如此迅速响应,可能是因为它刚上线时功能还不完整,很多高级功能尚未集成。随着多模态功能的逐步添加,用户体验预计会进一步提升。

不过话说回来,GPT-3.5时代既然都落幕了,那GPT-4.5的时代什么时候开启呢?GPT-3.5都已经被GPT-4o mini给取代了,GPT-4.0是不是也该升升级了?

### GPT-4 Mini Version or Variant In the context of advanced language models, discussions around simplified versions or variants often focus on maintaining core functionalities while reducing computational requirements and improving efficiency. For InstructGPT, which refers to PPO-ptx models unless otherwise specified[^1], similar principles apply when considering a mini version or variant. A potential approach for creating a GPT-4 mini version involves several strategies: #### Architecture Optimization One method is architecture optimization where layers within the neural network are pruned without significantly impacting performance. This process can involve removing less important weights or neurons that contribute minimally to output quality. #### Parameter Quantization Another technique includes parameter quantization, converting floating-point numbers into lower precision formats like int8 or even binary values. Such changes reduce memory usage and speed up inference times at minimal cost to accuracy. #### Knowledge Distillation Knowledge distillation transfers knowledge from larger teacher networks (like full-4) to smaller student models through training processes designed specifically for this purpose. The result is a compact yet powerful model capable of performing tasks comparable to its more resource-intensive counterpart. ```python import torch.nn as nn class MiniGPT(nn.Module): def __init__(self, vocab_size=50257, n_embd=768, block_size=1024): super().__init__() self.tok_emb = nn.Embedding(vocab_size, n_embd) self.pos_emb = nn.Parameter(torch.zeros(1, block_size, n_embd)) def forward(self, idx, targets=None): b, t = idx.size() token_embeddings = self.tok_emb(idx) # each index maps to a learned vector position_embeddings = self.pos_emb[:, :t, :] # each position maps to a learned vector return token_embeddings + position_embeddings ``` This code snippet demonstrates how one might define a basic structure for a miniature transformer-based model inspired by GPT architectures but with reduced dimensions suitable for lightweight applications.
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值