一觉醒来,OpenAI又上新功能了:
GPT-4o正式上线微调功能。
并且官方还附赠一波福利:每个组织每天都能免费获得100万个训练token,用到9月23日。
也就是说,开发人员现在可以使用自定义数据集微调GPT-4o,从而低成本构建自己的应用程序。
要知道,OpenAI在公告中透露了:
GPT-4o微调训练成本为每100万token 25 美元(意味着每天都能节省25美元)
收到邮件的开发者们激动地奔走相告,这么大的羊毛一定要赶快薅。
使用方法也很简单,直接访问微调仪表盘,点击”create”,然后从基本模型下拉列表中选择gpt-4o-2024-08-06。
对了,OpenAI还提到,只需训练数据集中的几十个示例就可以产生良好效果。
还晒出了成功案例
消息公布后,一众网友跃跃欲试,表示很想知道模型微调后的实际效果。
OpenAI官方早有准备,随公告一同发布了合作伙伴微调GPT-4o的实际案例。
首先是一款代码助手Genie,来自AI初创公司Cosine,专为协助软件开发人员而设计。
据Cosine官方介绍,Genie的开发过程采用了一种专有流程,使用数十亿个高质量数据对非公开的GPT-4o变体进行了训练和微调。
这些数据包括21%的JavaScript和Python、14%的TypeScript和TSX,以及3%的其他语言(包括Java、C++和Ruby)。
经过微调,Genie在上周二OpenAI全新发布的代码能力基准测试SWE-Bench Verified上,取得了**43.8%**的SOTA分数。
与此同时,Genie还在SWE-Bench Full上的SOTA分数达到了30.08%,破了之前19.27%的SOTA纪录。
相较之下,Cognition的Devin在SWE-Bench的部分测试中为13.8%。
另一个案例来自Distyl,这是一家为财富500强企业提供AI解决方案的公司,最近在领先的文本到SQL基准测试BIRD-SQL中排名第一。
经过微调,其模型在排行榜上实现了**71.83%**的执行准确率,并在查询重构、意图分类、思维链和自我纠正等任务中表现出色,尤其是在SQL生成方面表现尤为突出。
除了提供案例,OpenAI还在公告中特意强调了数据隐私和安全问题,总结下来就是:
开发者的业务数据(包括输入和输出)不会被共享或用于训练其他模型。
针对微调模型实施了分层安全缓解措施,例如不断对微调模型运行自动安全评估并监控使用情况。
网友:微调比不上提示词缓存
一片热闹之际,有网友认为微调仍然比不上提示词缓存。
微调很酷,但它仍然不如提示词缓存……
之前量子位也介绍过,提示词缓存的作用,就是一次给模型发送大量prompt,然后让它记住这些内容,并在后续请求中直接复用,避免反复输入。
今年5月,谷歌的Gemini就已经支持了提示词缓存,Claude也在上周上新了这项功能。
由于不需要反复输入重复的脚本,提示词缓存具有速度更快、成本更低这两大优势。
有网友认为,提示词缓存功能对开发者更友好(无需异步微调),且几乎可以获得与微调相同的好处。
提示词缓存可以让您付出1%的努力获得99%的好处。
不过也有人给微调打call,认为微调在塑造响应方面更有效。例如确保JSON格式正确、响应更简洁或使用表情符号等。
眼见OpenAI的竞争对手们相继用上了提示词缓存,还有人好奇了:
想知道OpenAI是否会坚持微调或转向提示词缓存(或两者兼而有之)。
对于这个问题,有其他网友也嗅出了一些蛛丝马迹。
OpenAI在其延迟优化指南中提到了缓存技术。
我们也第一时间找了下指南原文,其中在谈到如何减少输入token时提到:
通过在提示中稍后放置动态部分(例如RAG结果、历史记录等),最大化共享提示前缀。这使得您的请求对KV缓存更加友好,意味着每个请求处理的输入token更少。
不过有网友认为,仅根据这一段内容,无法直接推出OpenAI采用了提示词缓存技术。
BTY,抛开争议不谈,OpenAI的羊毛还是得薅起来~
除了GPT-4o,还可以免费微调GPT-4o mini,9月23日之前OpenAI免费提供每天200万个训练token。
如何学习AI大模型?
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/369e4782582df87054d2a884596c57a0.png)
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。