OpenAI突发新模型：用GPT改进GPT训练，左脚踩右脚登天，RLHF突破人类能力上限

于 2024-06-28 09:46:01 发布
阅读量845 收藏 29
点赞数 7
文章标签： gpt 人工智能 python 深度学习 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/QbitAI/article/details/140057667
版权
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

OpenAI突然发布新模型！基于GPT-4训练，可以帮助下一代GPT训练。

CriticGPT，用于给代码挑Bug时能找到75%以上，而相比之下人类只能找到不到25%。

它还可以给Bug写“锐评”，在60%的情况下人类训练师更喜欢有CriticGPT帮助下的批评。

8dcc22170b94820ac7a1b8981a5f69ed.png

有网友开玩笑说，“只会批评的GPT，这不是我前妻么”。

48e9cd0732891ab9b640150f25fca53e.png

但这项研究最重要之处在于，CriticGPT挑错能力可以泛化到代码之外。

比如在RLHF训练中给AI的输出挑错，而且已经进入OpenAI内部训练流程。

d17e5e13f01263f1678816d13e6206e9.png

更好的RLHF就能训练出更强的模型，更强的模型又能通过更好地挑错来增强RLHF训练……

论文结论中赫然写道：在真实世界数据中挑错误上，AI还可以继续进步，人类智能已经到头了。

31ddb1934c6e1afbc19b66c7df96ac75.png

左脚踩右脚上天，难道真的被这帮人给搞出来了？

最低0.47元/天 解锁文章
QbitAl
关注
博客
首次系统评估Qwen3在后训练量化下的鲁棒性：8bit下仍保持近乎无损性能
05-07 9
具体来说，在LLaMA3-8B中，AWQ的w3a16g128量化使C4上的PPL从9.2仅增至11.6，而在Qwen3-8B-Base中，相同AWQ设置使PPL从10.4增至23.8。这一观察与团队的假设一致，即Qwen3广泛采用的先进预训练技术往往生成参数冗余较少的模型，从而使其对量化引起的信息损失更为敏感，尤其在复杂推理任务和少样本学习场景中，性能下降尤为显著。表3是Qwen3-Base模型每组1到8位的PTQ结果，验证了在Wikitext2和c4上的困惑度、零样本推理任务以及5样本的MMLU性能。
博客
谷歌突发大招刷爆AI编程榜！网友：不用买Cursor了
05-07 19
在官方博客中，他们还表示：这个版本原计划在几周后的Google I/O大会上发布，但由于Gemini 2.5太受欢迎，于是决定现在发。就在前几天，Gemini 2.5 Pro在直播中通关了《宝可梦蓝》，成为首个大模型宝可梦联盟冠军，直接打破了此前Claude的记录。此次更新的重点就在于编码能力，包括不限于改进前端和UI开发，以及基础编码任务（例如代码转换和编辑，以及创建复杂的代理工作流）。除此之外，它还增加了一些新功能，比如听写入门应用，只需说出你的想法，Gemini就能将创意变为现实。
博客
瑞莱智慧CEO：大模型形成强生产力关键在把智能体组织起来，安全可控是核心前置门槛 | 中国AIGC产业峰会
05-06 8
除了被动上传检测方式，我们还专门推出了一个实时主动检测的系统，把它作为手机或者电脑的软件来运行，如果在电脑上开视频会议时，对方突然AI换脸，系统可以给你对应的警示，告诉你对方有AI换脸的嫌疑，需提高警惕，从而防范AI诈骗。我们可以去类比人类社会智能的发展，如果回溯到2000年，甚至3000年以前，古代的人类个体智慧水平相比于现在的人类，并没有那么大的差异，因为古人也可以进行相关的研究工作，写出来非常有哲理的文章，留给我们很多宝贵的智慧结晶。另外，大模型还涉及价值观层面的问题。我们怎么保证AGI的安全发展？
博客
突发！曝阿里通义薄列峰离职，此前为应用视觉团队负责人
05-06 8
其研究领域包括机器学习、深度学习、计算机视觉、机器人、自然语言处理等多个领域，曾担任包括NeurIPS、CVPR、ICCV、ECCV、AAAI、SDM等在内的顶会程序委员会委员。ChatGPT掀起大模型浪潮之后，阿里重用通义实验室，达摩院原来的多个研究团队，如语言技术实验室、语音实验室、XR实验室等，在阿里云重组成大模型研究部门 “通义实验室”。知情人士透露，他已经加入某互联网大厂，base美国，担任多模态模型部副总经理，负责部门整体工作，直接向公司副总裁汇报。如今，薄列峰离职后的接替人选也成谜。
博客
被拒稿11年后翻盘获时间检验奖，DSN作者谢赛宁：拒稿≠学术死刑
05-06 3
当我进入UCSD时，我对研究一无所知。我的导师屠卓文耐心地指导我们，从编程和数学证明相关的基础知识，到提出自己的研究想法，再到在台上自如地演讲。通过在网络各隐藏层利用特征质量反馈，直接影响权重更新，能让网络更快学习到好的特征，减轻梯度问题，且不影响整体网络性能。如果一篇好论文被拒绝，它就具有「成为最好的论文」和「被时间检验」的潜力，因为它会再次改进。众所周知，计算机会议的时间检验奖通常要求论文在获奖的10年前发表，高被引是核心门槛。总之，虽然评审给这篇论文打出了8/8/7的高分，但还是被无情拒收了。
博客
大模型集体“挂科”！全新中文网页检索测试：GPT-4o准确率仅6.2%
05-06 36
研究者希望此基准测试能成为推动LLM在中文信息环境落地的试金石，助力构建真正“会用中文上网”的智能体。需要从中文语境原生设计，才能真正衡量大模型是否能在中文网页上“看得懂”、“搜得到”、“推得准”。研究团队采用了“逆向设计法”：从一个明确、可验证的事实答案出发（如某个画种、机构、影视剧名），但众多评估工具都只在英文语境下建立，对中文语境、中文搜索引擎、中文平台生态考虑甚少。如今的大模型越来越擅长“用工具”：能连搜索引擎、能调用插件、能“看网页”。常见的语言结构中含有省略、典故、代指，关键词检索常常“跑偏”
博客
刚刚，OpenAI公司结构重大调整：继续由非营利实体控制，营利性部门要变公益公司
05-06 1
我们希望在广泛的边界内，即使我们不总是分享相同的道德框架，也要给予我们的用户在使用工具方式上的极大自由，并让用户对ChatGPT的行为做出决策。当我们创立OpenAI时，我们并没有详细的计划来实现我们的使命。我们将放弃当前复杂的有上限利润结构——这在可能只有一家主导AGI公司的情况下是有意义的，但在有许多优秀AGI公司的世界中并不适用——我们转向一个正常的资本结构，每个人都拥有股票。我们希望我们的非营利组织成为历史上最大、最有效的非营利组织，专注于使用AI为人们实现最高杠杆效应的成果。
博客
细节直逼亚毫米级！港科广分层建模突破3D人体生成｜CVPR 2025
05-05 25
三个层级模块并非孤立运作，而是形成从宏观姿态到微观特征的递进式优化链条：骨架增强模块建立的准确骨骼框架为关节定位提供基础，关节增强策略稳定的关节预测又为皱纹细化创造了低噪声的几何环境。：骨架增强模块通过将3D傅里叶特征投影到输入图像一致的2D空间，使高斯重建模型能够充分融合先验的人体形态知识，从而精准捕捉人体姿态特征。模型的关节参数进行扰动。基于单目图像的三维人体重建存在固有深度歧义性，现有方法通常依赖SMPL-X等人体轮廓的预训练模板提供几何先验，但依然难以捕捉细节特征和特定解剖学结构。
博客
2年就过气！ChatGPT催生的百万年薪岗位，大厂不愿意招了
05-04 12
在这种时候，AI对用户有了更深入的理解，通用化的提示词工程或许也就变得不再实用了。一份由微软委托的调查显示，提示词工程师已经成为企业最不愿意扩增的岗位之一（倒数第二名），大家更希望招聘AI训练师、AI数据专家以及AI安全专家等岗位。2年过去，当时最强悍的GPT-4都被OpenAI从ChatGPT上下架了，大模型的智能水平已经不可同日而语，无需完美提示词，模型也能给出更好回答。在猎聘上，如今依旧给提示词工程师开出高额薪资的企业，更多集中在垂直行业领域，或者是服务于垂直行业的技术提供商。
博客
3B模型逆袭7B巨头！Video-XL-Pro突破长视频理解极限，大海捞针准确率超98%
05-04 1
值得注意的是，VIdeo-XL-Pro只使用了相对较少的SFT数据（1M），低于Apollo的3.2M，远低于Qwen2.5-VL，InternVL2.5等知名开源模型，进一步说明了方法的有效性。V-STaR注重在极长视频中找出与问题相关的片段，精准回答片段时间范围，现有开源模型在V-STaR中很难取得很好的成绩，即便是Qwen2.5-VL-7B，mIoU得分也仅为11.48。最后在VNbench上，VIdeo-XL-Pro也取得有竞争力的结果，说明模型在增强长视频理解能力的同时，也能兼顾短视频能力。
博客
Claude网页版接入MCP！10款应用一键调用，开发者30分钟可创建新集成
05-02 50
还有人表示，现在只要运行一个自定义网站、连接一个 MCP，就可以享受所有以前SaaS需要付费购买时所需的智能功能，仅凭这一点，未来十年的OSS就会变得十分有趣。目前，MCP已经获得了业界的广泛认可和采用，正在逐渐成为行业开放标准，Anthropic将其比喻成AI应用的Type-C接口。官宣当中，也展示了一组DEMO，Claude用大约半小时的时间，综合500多份参考资料，完成了一份调研报告。此外，当Claude整合来自不同来源的信息时，会对引用进行清晰的标注，并直接链接到原始资料。
博客
1亿图文对！格灵深瞳开源RealSyn数据集，CLIP多任务性能刷新SOTA
04-27 136
受到MetaCLIP的启发，还引入了一种简单但高效的基于簇的语义平衡采样策略，并将剩余的 1.683亿对中的图像嵌入聚类到100万个中心。值得注意的是，与LAION相比，RealSyn在线性探测、零样本迁移和鲁棒性的性能曲线上显示出更陡峭的斜率，这表明其具有更优越的模型扩展能力。最近还推出了几个大规模图文交错文档数据集。值得注意的是，仅使用真实文本进行训练可以显著提升性能，与使用LAION15M数据集的69.8%相比，达到了71.2%的准确率，突显了现实世界知识在推进视觉-语言表征学习中的重要作用。
博客
树莓派上流畅运行大模型！让终端具备自主学习与记忆能力｜对话RockAI CEO刘凡平
04-26 74
比如你是科技媒体人，有自己的写作风格，现在想让主流大模型帮你写作需要做大量prompt调整，但一旦端侧能够实现高度个性化后，你设备上的模型会非常了解你的风格，不需要额外调试就能按你的心意和风格写作，且非常隐私安全。我们的模式是，当你刚说“帮我播一首”，还没说到后文时，模型已经开始推理你想听谁的歌，开始理解你的意图并准备结果，这能让设备更像人而非工具。因为群体智能会加速智能社会指数级增长，就像工业革命时期的生产力突破也可以理解成是一种群体智能的突破，新的科技和工具让人与人、机器与机器的协作更高效了。
博客
GitHub版DeepResearch来了！覆盖所有代码库，模型架构可视化，背后贡献者也能扒 ｜免费
04-26 64
整个页面模块清晰流畅，还有生成可视化架构图（对比GitHub项目主页是没有的），每个部分都有相关的资料来源，可以直接触达，开发者们查阅起来很方便。另一种则是他们的搜索页面，底下有推荐的热门页面， 你可以在框里搜索项目，这就有点像。最简单的触发模式，就是只需要把链接中「github」改为「deepwiki」字样，就可以生成项目专属的wiki百科页面。左边是总览目录，右边是该部分的目录，中间就是主体内容，下面是对话框。模式，你可以问它任何与项目有关的问题，很适合正在学习的小白了。
博客
网易有道张艺：AI教育的规模化落地，以C端应用反推大模型发展 | 中国AIGC产业峰会
04-26 47
在探索的过程中，我们积累了一些认知，比如在口语对练的场景，大家容易忽略一个点，口语是需要面对面交流的，一个真实良好的视觉形象交互，对用户来说是非常重要的。去年，我们也针对4-12岁的用户群体推出了专属的儿童的模式，通过简单可爱的交互形象、低门槛的对话内容，帮助儿童用户更好地进行英语启蒙，产品推出后家长人群也是非常认可，我们用一个简短的视频让大家感受一下Hi Echo里面比较可爱的儿童模式。刚才有很多的细节，不知道大家有没有注意到，我们这个小孩很多的肢体语言和他对话的一些文案和语气是完全贴近的。
博客
开源垂直领域高质量数据合成框架！专业QA自动生成，无需人工标注，来自上海AI Lab
04-25 363
同时研究团队在开源数据集（SeedEval、PQArefEval、HotpotEval 分别对应农业、医学、通用）训练测试，结果表明GraphGen自动合成的数据能够降低Comprehension Loss（越低代表学生模型的知识盲点越少），增强模型对垂域的理解力。同时，研究团队已经在OpenXLab部署了Web应用，上传你的文本块（如海事、海洋知识）、填写SliconCloud API Key，即可在线生成LLaMA-Factory、XTuner所需的训练数据。为了方便试用，默认配置免费的7B模型。
博客
宝马秀起汽车科技来，哪有其他汽车什么事…
04-25 908
抬头显示进一步升级，早在2003年宝马就率先开创了抬头显示技术（HUD），现在全新3D HUD实现首次在宝马抬头显示上应用斜投影技术，搭配独特光学元件技术，带来裸眼3D效果，让驾驶者更直观获取驾驶信息。再加上采用了矩阵背光技术，结合纳米涂层风挡玻璃下部的黑色涂层，提供了100000:1的超高对比度，因此显示内容不会受到光的影响，不论强光还是弱光都清晰可见。然后是开起来的乐趣，车辆对驾驶者的操作响应更快，因为车辆采用了全新的电子电气架构，决策延时小于1ms，对信息的处理速度较以往系统提升了10倍。
博客
亚马逊云计算Troy Cui：敦煌网飙升AppStore第二，企业如何应对激增流量是关键 | 中国AIGC产业峰会
04-25 1034
最后分享一下亚马逊云科技自己的产品大会，每年的re:Invent，其实我自己很深的感受，我们在过去几年定义我们的云服务，很多时候我们会聊计算、存储、网络和数据库，这是我们在云服务上最重要的四个基线。我们在整个这套管理上，上面会通过一个统一的数据和AI的平台，有一个完备的数据治理，下面再通过统一的湖仓大家存储在不同位置上的数据统一纳管和构建，而且具备相当能力的数据质量，像数据治理层的管理能力。正如刚才讨论的金融行业，以及阮总分享的制造业和医疗行业案例，这里我展示的是我们在新媒体和泛客户领域的实际应用案例。
博客
从底层重构强化学习训练框架，阿里高德开源新方法：抛弃替代损失函数，仅需优化原始目标
04-25 230
通过将基于组内的决策动态直接纳入标准的PG方法，GPG简化了训练过程，并显著减少了计算开销，而不削弱模型效果。这一突破为训练能够进行复杂推理的先进LLM提供了更高效的框架，从而为更具资源效率和可扩展性的人工智能系统做出了贡献。GPG开创性地从底层重构强化学习训练框架，仅需优化原始目标，解决已有方法偏差，提高训练效率。：首次揭示现有方法的奖励偏差问题，提出轻量化且高精度的梯度估计方案，显著提升策略稳定性。在一个组中，所有奖励都是0的简单问题的比例和所有奖励都是1的困难问题的比例。
博客
一手实测！文心X1/4.5 Turbo推理和多模态双双变强，还把模型成本降了6成？！
04-25 279
以文心大模型为例，目前已经形成了从模型到工具平台的完整体系，包括文心4.5、X1等旗舰模型及其Turbo升级版、文图生成模型、场景模型和轻量模型、文心一言和智能体，以及赋能开发者的数据生产、后训练、推理部署和场景化工具等。这或许也是百度这届AI开发者大会，主题“模型的世界，应用的天下”的关键原因，模型已经遍地都是、触手可及，那么应用的爆发也就成为了必然趋势。一般而言，传统的单一奖励机制往往只能从一个角度评估模型的性能，这可能导致模型“顾此失彼”，比如过于关注语法，可能就会忽略语义的连贯性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值