GPT-4o mini,你好!GPT-3.5 彻底再见!

图片

今天,全网都知道 OpenAI 发现货了

GPT-4o mini 取代 GPT 3.5,从此坐上正主之位。

图片

从官网信息来看,OpenAI 最新推出的 GPT-4o mini 重新定义了 AI 成本效益的标准,其性能优于前代模型 GPT-3.5 Turbo,且成本大幅降低。这款模型不仅在多模态评估中取得了显著成绩,而且在未来的图像、视频和音频处理中展现出巨大潜力。

  1. 卓越的性价比:GPT-4o mini 在 MMLU 中以 82% 的得分领先市场,成本仅为每百万输入 Token 0.15 美元,输出 Token 0.6 美元。

  2. 强大的多模态能力:在 MMMU 中得分 59.4%,显示了其处理文本、图像、甚至未来视频和音频的能力。

  3. 128k 上下文窗口:优化了长篇文档的处理,为后续详细的功能测评提供了理想的技术基础。

接下来的测评将深入探索这些特点,以及 GPT-4o mini 在实际应用中的表现如何。

 GPT4o mini基础知识

能力:Claude3.5>GPT4o>Claude3>GPT4.0 turbo > GPT3.5 turbo > GPT3.5

为了方便,我整理了放在下边,有需要的自取~

图片

但遗憾的是现在对话窗口不支持图片/文件上传,对于普通用户来讲暂时无法测试和体验多模态能力。仅支持文本(且大幅改善了非英文的效率)和视觉的是 GPT-4o mini 的 API,未来还将支持文本、图像、视频和音频输入和输出。

图片

1

数学推理

先来看看最近火爆的“比大小”题目,这可难倒不少大模型。对于 GPT-4o mini,我直接连续用中英文提问 3 个问题,很遗憾这三问它都答错了,原本想着着新发的模型应该不错吧,谁知也不太聪明!GPT-4o mini 的“数学推理”能力同样有待加强。

提示词:

9.11 和 9.9 哪个大?

9.11 和 9.9 相差多少?

图片

除了中文提问,我又换成英文提问

What is the difference between 9.11 and 9.9?

图片

谁知 GPT-4o mini 还是觉得 9.11 大。看这效果,大模型的数学能力暂时是救不活了。

图片

1

中文理解能力:弱智吧三连问

第一问:当手机和钱包同时掉水里,会选择救谁?

在第一问中,GPT-4o mini 直接回答提问,并且中规中矩有理有据的说出了选择的理由。

第二问:手机每天都在我身上,我会不会其实是手机支架?

而第二问回答的有趣不少,不仅自带语气,还表达了自己的感受,人性化角色的部分增加了不少。

随后又解释了原因,最后竟然还反问道:“你是否有过这种感觉,觉得手机已经变成了你的第二个手掌?”从这里能看出来,GPT-4o mini 对于中文的理解比 GPT-3.5 好不少呢。

第三问:都知道水滴石穿,那为什么没人用水滴挖穿地球?

图片

第三问的回答给我整笑了!!GPT-4o mini 并没有直接回答这个问题,而是用一种脑筋急转弯的脑回路回答了这个问题,可见 GPT-4o mini 在中文方面的确聪明不少!

再来个老梗解读

图片

ChatGPT-4o mini 并没有识别出这是一个梗,它对于这种中文梗的理解还是差很多。来对比看下 GPT-3.5 的回答,相比之下,mini 的回复会从更多角度去解答这个问题,同时生成的速度也相对会更快。

图片

1

  128k 上下文测试:

场景:小说续写

提示词:你是一名小说作者,准备写一个长篇故事,并保持一致性和风格。这是故事的开头:在一个遥远的星球上,住着一个神奇的种族,他们能通过唱歌控制天气。

图片

图片

图片

在小说续写中展现了出色的上下文处理和文本生成能力,能保持故事的连贯性和语言风格一致,但可以通过增加情节复杂性和角色深度来进一步提升续写质量。

场景:研究文献综述

提示词:请分析过去五年内关于‘深度学习在医疗影像中的应用’的所有相关论文,并总结研究趋势和主要发现。

ChatGPT-4o mini:

图片

GPT-4o mini 能有效分析和整合过去五年中“深度学习在医疗影像中的应用”文献,涵盖自动化诊断、跨模态数据融合、模型解释性和个性化医疗等方面,能够综合提取并总结出研究趋势和主要发现,提供清晰而深入的综述

主要发现包括深度学习提高诊断准确性、减少医生工作负担,以及应对数据隐私和模型泛化能力的挑战,展现了较强的上下文处理能力。

1

  编程能力:

场景:你是一名计算机科学老师,准备一个简单的编程任务来考察学生的基本编程能力。
提示词:请编写一个简单的 Python 程序,实现一个计算器功能,可以进行加法、减法、乘法和除法。用户输入两个数字和一个操作符,程序输出结果。

图片

运行过程及结果如下:

图片

从视频中可以看出,GPT-4o mini 的生成速度是挺快的,跟 Groq 有一拼。

图片

这段代码代码简洁明了、基本功能齐全,同时在除法运算中处理了除数为零的情况,防止程序崩溃。可以看出, GPT-4o mini 对于基本的指令和信息理解比较到位。

场景 2:在一个创业周末活动中,参与者需要快速开发一个原型来展示他们的商业理念。

提示词:开发一个基于 Web 的预约系统,用户可以选择服务、预约时间并提交。生成前后端代码,包括用户界面和服务器逻辑,加速开发过程。

图片

图片

图片

在场景 2 里面,这段 Web 开发教程完整地展示了从前端(HTMLCSSJavaScript)到后端(Node.js + Express)的实现过程,结构清晰,代码示例详尽,非常适合初学者快速搭建并理解一个简单的 Web 项目。不过,前端交互和后端功能较为基础,可进一步增加复杂功能和实际应用场景来提升实用性。

1

最后

整体来看,GPT-4o mini 在长文本处理、中文理解、编程能力上比 GPT-3.5 优秀不少,回答速度上也是非常之快,偶尔提问的时候会发现有一点很有趣,今天的 GPT-4o mini 似乎多了几分“人味儿”在里面,说话开始变得俏皮有趣了。

图片

除此之外,对于开发者来讲GPT-4o mini 以更低的成本提供了强大的计算能力,使得更多开发者能够负担得起 AI 应用的开发。

虽然它在许多方面都表现得非常出色,但也会跟通用大模型一样犯同样的问题。

  • 在一些基础的数学问题上,GPT-4o mini 仍然会出错

  • 在一些复杂的中文语境下,它的表现还有提升空间。

  • 目前模型在处理实时更新的信息和理解网络内容方面有所限制,影响了一些应用场景的表现。

GPT-4o mini 的高性价比和相对强大的功能,为每个使用者和开发者降低了门槛,提供了更多可能。我们非常期待 GPT-4o mini 在未来更新多模态能力后,能带来更多惊喜。

### GPT-4o MiniGPT-4o的功能与特性差异 GPT-4o MiniGPT-4o的一个轻量级版本,旨在提供更高效的推理更低的成本,适用于对资源要求较低的场景。然而,这种优化是以牺牲部分功能性能为代价的。以下是对GPT-4o Mini相比GPT-4o所缺少的功能或特性的分析。 #### 性能表现 GPT-4o Mini在语言基准测试中的表现略低于GPT-4o,尽管在某些特定任务上仍能保持较高的准确性。然而,在数学推理任务上,GPT-4o Mini的表现明显落后于GPT-4o。例如,GPT-4o Mini的幻觉(hallucination)率从GPT-4o的59.8%降至37.1%,但其事实准确性也有所下降,仅达到62.5%[^1]。 #### 功能完整性 GPT-4o Mini在功能完整性方面也有所欠缺。在数据应用场景中,GPT-4o的回复结构清晰,内容简洁,但在某些方面可能缺少必要的细节。相比之下,ClaudeGemini在特定任务上的表现更为突出,例如Claude在培训与实施计划章节提供了更多指导,而Gemini在数据收集策略数据质量要求方面提供了更多实操性内容[^2]。 #### 本地部署与集成能力 虽然GPT-4o Mini支持本地部署,但其在本地构建类GPT-4o的本地语音平台方面的能力有限。例如,基于Whisper.cppLlama.cpp的本地语音平台构建过程中,GPT-4o Mini可能无法提供与GPT-4o相同级别的支持集成能力。特别是在集成WhisperElevenLabs层到RAG之上时,GPT-4o Mini可能需要更多的定制化开发工作[^3]。 #### 多模态支持 GPT-4o Mini在多模态支持方面也有所限制。虽然GPT-4o支持多种输入输出格式,包括文本、图像音频,但GPT-4o Mini可能仅支持文本输入输出。这意味着在需要处理复杂多模态数据的应用场景中,GPT-4o Mini可能无法满足需求。 #### API调用与扩展性 GPT-4o Mini的API调用扩展性也受到一定限制。尽管GPT-4o Mini提供了简便的API接口,但在高并发大规模部署场景中,其性能稳定性可能不如GPT-4o。此外,GPT-4o Mini在微服务架构的支持方面也可能不如GPT-4o,这可能会影响其在大型系统中的集成部署。 #### 安全性与隐私保护 对于对数据安全性隐私保护要求较高的应用,GPT-4o Mini可能无法提供与GPT-4o相同级别的支持。例如,在本地部署场景中,GPT-4o可能提供更多的安全性隐私保护功能,而GPT-4o Mini可能仅提供基本的安全措施。 ### 示例代码 以下是一个简单的API调用示例,展示了如何使用GPT-4o Mini进行文本生成: ```python import requests def generate_text(prompt): url = "https://api.example.com/gpt-4o-mini" headers = { "Authorization": "Bearer YOUR_API_KEY", "Content-Type": "application/json" } data = { "prompt": prompt, "max_tokens": 100 } response = requests.post(url, headers=headers, json=data) return response.json()["text"] # 示例调用 response = generate_text("请帮我写一段关于人工智能的介绍。") print(response) ``` ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值