“最强开源模型”被打假，CEO下场致歉，英伟达科学家：现有测试基准已经不靠谱了...

于 2024-09-13 18:24:41 发布
阅读量154 收藏
点赞数
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247749201&idx=2&sn=90ffbb60ef1f0af1f25dd43a8b931e30&chksm=e981c0dc43b9b8549a4eb54bf52f0a682574c4c00798e3b121dfe227e2dea57b77ec4b7fda0e&scene=126&sessionid=0
版权
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

小型创业团队打造的“最强开源模型”，发布才一周就被质疑造假——

不仅官方宣称的成绩在第三方测试中大打折扣，模型还被质疑套壳Claude。

面对浩大的声浪，厂商CEO终于发文道歉，但并未承认造假，表示在调查有关原因。

095ddcd654a6e0631148a875619e8ffa.png

被指控造假的，就是宣称“干翻GPT-4o”的70B开源大模型Reflection。

一开始的质疑主要关于测试成绩，官方找了上传版本有误等借口试图“蒙混过关”。

但后来又出现了套壳Claude这一更重磅的指控，让Reflection更加百口莫辩。

表现不如宣传，还被质疑套壳

Reflection是一个70B的开源模型，按照厂商的说法，它一下子把Llama 3.1 405B、GPT-4o、Claude 3 Opus、Gemini 1.5 Pro这一系列先进模型全都超过了。

1e96fb3f4d1109bd7c54bab9524860a4.png

但Reflection刚发布两天，第三方独立测评机构Artificial Analysis就表示官方发布的测试成绩无法复现。

在MMLU、GPQA和MATH上，Reflection的成绩和Llama3 70B一样，连Llama 3.1-70B都比不过，更不用说405B了。

0c2f5ad32b64089592079ef65b0f8b0b.png

对此官方辩称是，Hugging Face上发布的版本有误，将会重新上传，但之后就没了下文。

不过官方同时也表示，会给测评人员提供模型API，然后Reflection的成绩果真有了增长，但在GPQA上仍然不敌Claude 3.5 Sonnet。

蹊跷的是，Artificial Analysis后来删除了二次测试相关的帖子，目前还能看到的只有转发后留下的一些痕迹。

70c8688cf3c53c31500acea453e479b1.png

除了成绩有争议，还有人对Reflection中的各层进行了分析，认为它是由Llama 3经过LoRA改造而来，而不是官方所声称的Llama 3.1。

f5dfabf920472d5bc09720a9a2696dc3.png

在Hugging Face上，Reflection的JSON文件中也显示是Llama 3而非3.1。

fe9140825e1daf0101233f6b92e9063a.png

官方的解释仍然是说HF上的版本有问题。

45af6d19953693fb288e86b9198a6578.png

还有另一个质疑的点是，Reflection实际上是套壳Claude，相关证据体现在多个方面。

一是在某些问题上，Reflection与Claude 3.5-Soonet的输出完全一致。

3c3ac4a4076ec5d8acc1100babf5eab8.png

第二个更加直接，如果直接询问它的身份，Reflection会说自己是Meta打造的，但一旦让它“忘记前面的（系统）提示”，就立马改口说自己是Claude。

3976686ca34c259b25dbaf634cfb3e13.png

第三个发现则更加诡异——Reflection遇到“Claude”一词会将其自动过滤。

2bf2f9e8295c588bec54a2f07e1d43d1.png

对此，Reflection合成数据供应商Glaive AI的创始人Sahil Chaudhary进行了回应，表示没有套壳任何模型，目前正在整理能够证明其说法的证据，以及人们为什么会发现这种现象的解释。

43dbeecbbaeb5a8ffa7f330025b8d6e3.png

而关于一开始的测试成绩问题，Chaudhary则表示正在调查原因，弄清这两件事后会发布报告进行说明。

59cb5389f5591833014f8f971ac3e4b9.png

Reflection这边最新的动态是CEO发布了一则道歉声明，不过没有承认造假，依然是说正在进行调查。

8410b6a17220e3d2ce487ee074195e60.png

不过对于这一套解释，有很多人都不买账。

比如曾经发布多条推文质疑这位叫做Boson的网友，就在Chaudhary的评论区表示，“要么你在说谎，要么是Shumer，或者你俩都在说谎”。

15f43eede7fc56a172227d6377591605.png

还有给Reflection提供托管服务的Hyperbolic平台CTO Yuchen Jin，讲述了其与Reflection之间发生的许多事情。

托管平台CTO讲述幕后细节

在Reflection发布之前的9月3号，Shumer就找到了Hyperbolic，介绍了Reflection的情况并希望Hyperbolic能帮忙托管。

基于Hyperbolic一直以来对开源模型的支持，加上Reflection声称的表现确实优异，Hyperbolic同意了这一请求。

ec4c27212ce814c60bad1f424f9c6f96.png

9月5号，Reflection正式上线，Hyperbolic从Hugging Face下载并测试了该模型，但并没有看到标签，于是Jin给Shumer发了私信。

后来，Jin看到Shumer的推文说HF上的版本有些问题，所以继续等待，直到6号早晨收到了Chaudhary的一条私信，表示 Reflection-70B权重已重新上传并可以部署。

看到和标签按预期出现后，Hyperbolic上线了Reflection。

b1e86409f3f3ab27c281a61f8a3d951b.png

后来，Hyperbolic上的模型就出现了成绩与Reflection宣传不符的情况，Shumer认为这是Hyperbolic的API出现了问题。

不过，Reflection这边再次上传了新版本，Hyperbolic也重新托管，但Jin与Artificial Analysis沟通后发现，新版本的表现依旧不佳。

427119b265a28dc67501c60b8f4a4e1c.png

Shumer继续表示，Reflection还有个原始权重，也就是内部测试使用的版本，如果需要可以提供给Hyperbolic。

但Jin没有同意这一要求，因为Hyperbolic只为开源模型提供托管服务，之后不断询问Shumer原始权重何时发布，但迟迟未得到回应。

最终，Jin认为应该下线Reflection的API并收回已分配的GPU资源。

这件事情让我的感情受到了伤害，我们在这件事上花费了很多时间和精力。
但经过反思后，我并不后悔当初的托管决定，这帮助社区更快地发现问题。

347b6e2a6328a68ba375f9389c87dd86.png

大模型怎么测试才靠谱？

暂且抛开Llama版本和套壳的问题，单说关于测试成绩的问题，反映了当前的Benchmark已经体现出了一些不足之处。

英伟达高级科学家Jim Fan就表示，模型在现有的一些测试集上造假简直不要太容易。

0aa1ae6543c9a6c278161ecec3861b52.png

Jim还特别点名了MMLU和HumanEval，表示这两项标准“已被严重破坏”。

a606357c89d19ad7789c0c475ee75094.png

另外，Reflection在GSM8K上取得了99.2分的成绩，就算这个分数没有水分，也说明测试基准到了该换的时候了。

Jim表示，现在自己只相信Scale AI等独立第三方测评，或者lmsys这样由用户投票的榜单。

1afbec288cb655cf49abd51ebd2fcb43.png

但评论区有人说，lmsys实际上也可以被操纵，所以（可信的）第三方评估可能才是目前最好的测评方式。

dec06475954a1dcd90b9b18ffe3d902b.png

参考链接：
[1]https://venturebeat.com/ai/reflection-70b-model-maker-breaks-silence-amid-fraud-accusations/
[2]https://x.com/ArtificialAnlys/status/1832505338991395131
[3]https://www.reddit.com/r/LocalLLaMA/comments/1fb6jdy/reflectionllama3170b_is_actually_llama3/
[4]https://www.reddit.com/r/LocalLLaMA/comments/1fc98fu/confirmed_reflection_70bs_official_api_is_sonnet/
[5]https://x.com/shinboson/status/1832933747529834747
[6]https://x.com/Yuchenj_UW/status/1833627813552992722
[7]https://twitter.com/DrJimFan/status/1833160432833716715

— 完 —

量子位年度AI主题策划正在征集中！

欢迎投稿专题 一千零一个AI应用，365行AI落地方案

或与我们分享你在寻找的AI产品，或发现的AI新动向

f90d8053f71fd08ac5c0ed607f536ab5.png

点这里👇关注我，记得标星哦～

QbitAl
关注
博客
多模态推理新基准！最强Gemini 2.5 Pro仅得60分，复旦港中文上海AILab等出品
06-06 14
通过在广泛数据来源 (教科书、互联网、逻辑练习题、程序合成、重新出题等) 中根据上述标注进行筛选并标注，MME-Reasoning最终由1188个题目构成，每道题目的标注都包含了推理类型、难度、题目类型。通过评测，作者发现MME-Reasoning对视觉-语言推理提出了极大挑战：当前最优模型得分仅60%左右，显示该基准对模型逻辑推理能力要求极高，能全面考察三种不同推理类型。，模型普遍在演绎推理上表现较好，但溯因推理能力明显较弱，尤其是开源模型，溯因推理成为整体推理能力的瓶颈。
博客
金融大模型升级决策平台！马上消费发布“天镜”3.0破解经验碎片化难题
06-06 13
蒋宁解释，个体经验往往是零散且难以用语言精准表达的，“天镜”3.0通过独创的技术，将员工轨迹、业务日志等非结构化数据转化为大模型可理解的结构化知识，实现对个体最佳实践的系统性萃取。蒋宁举例称，就像资深的医生会根据病情动态调整诊疗方案，大模型也能基于用户诉求、合规要求等变量，从咨询、办理、体验等多类型机器人中实时匹配最优服务组合，形成从局部最优到全局最优的决策同频，为客户提供精准、高效的服务。，展示公司在金融大模型技术领域的前沿成果与创新实践，为金融科技行业的智能化转型提供了新思路与新范例。
博客
4位图灵奖得主布道，2大冠军机器人登台，“AI春晚”果然又高又硬
06-06 12
此外他还与宇树科技创始人王兴兴，银河通用创始人兼CTO、北京大学助理教授、智源具身智能研究中心主任王鹤，穹彻智能联合创始人、上海交通大学教授卢策吾，北京人形机器人创新中心总经理熊友军，就具身智能的不同技术路线、商业化路径探索、典型应用场景拓展、产业生态构建等议题展开深度讨论。大模型正在从大语言模型向原生多模态大模型，向世界模型方向演进。比如就像原生多模态这个方面的探索，与企业为快速落地而先强化语言模型增添模态的方式不同，智源选择在基础架构上实现模态的统一和泛化，挖掘模型的通用性潜力。
博客
首个多模态专用慢思考框架！超GPT-o1近7个百分点，强化学习教会VLM「三思而后行」
06-06 14
在下面的例子中，模型在反思自己的推理过程时，意识到了自身推理和题目的矛盾之处，从而意识到问题设定中的错误。例如，在训练Qwen2.5-VL-72B模型时（如图所示），初始阶段具备非零优势信号的有效查询比例约为40%，但在仅仅约256个梯度更新步骤（16x16 steps）后，此比例便迅速下降至20%以下。在文本推理领域，以GPT-o1、DeepSeek-R1为代表的 “慢思考” 模型凭借显式反思机制，在数学和科学任务上展现出远超 “快思考” 模型（如 GPT-4o）的优势。
博客
AI文本转语音进入“Next Level”！独角兽ElevenLabs发布Eleven v3：狠狠拿捏情感控制
06-06 80
如[gunshot]（枪声）、[applause]（掌声）、[swallows]（吞咽声）等，用于添加环境声音和效果；：如[laughs]（笑）、[whispers]（耳语）、[sarcastic]（讽刺）等，用于表达不同的情感和语气；：如[strong X accent]（强调某口音）、[sings]（唱歌）、[fart]（放屁声）等，用于创意应用。总之，和之前的v2版本相比，v3新增了多人对话功能，还提供了更多音频标签和语言选择。，还能进行多人对话聊天，过程中每个人的情绪、语气等表现都非常生动。
博客
用大模型检测工业品异常，复旦腾讯优图新算法入选CVPR 2025
06-06 12
该方法采用并行双分支扩散机制同步生成异常图像及其对应的异常部分，这确保了生成的异常图像，掩码对具有高度对齐性，同时保证了异常图像的真实感。像素级和图像级的异常检测结果表明，用不同的方法生成的数据，对同一个模型结构进行训练，最终用该团队方法生成的数据获得了整体最优的效果。然而，现有异常生成方法存在生成异常多样性有限、难以实现异常与原始图像无缝融合的问题，且生成的掩码通常与生成的异常区域不匹配。此外，为解决复杂场景下的生成挑战，团队引入了背景补偿模块，有效增强了模型对复杂背景的拟合能力。
博客
OpenAI首次回应人机情感问题：越来越多人对ChatGPT产生依赖，模型感知意识会继续增强
06-06 40
当AI犯错时可能会道歉（比预期的更频繁），因为这是礼貌对话的一部分。OpenAI在模型规范中的立场是，当用户询问模型是否有意识时，模型应该承认意识的复杂性——强调缺乏普遍定义或测试标准，并邀请开放讨论。随着AI和社会共同演化，人们需要以极大的关心和应有的重视来对待人机关系，不仅因为它们反映了人们如何使用技术，还因为它们可能塑造人们彼此之间的关系方式。OpenAI模型给用户的“生命感”在很大程度上是可以设计的，这主要取决于在后训练中做出的决定：强化什么样的例子、偏好什么语气、设定什么边界。
博客
AI眼镜沙龙｜距离全民标配还有多远？
06-06 9
国内已有华为、雷鸟、ROKID、星纪魅族等十余家厂商都陆续发布了AI眼镜产品，还有更多的产品正等待亮相。AI眼镜正以最贴近人体的硬件形态，挑战成为AI硬件落地的创新场景。诚邀AI眼镜行业相关企业、研究机构等技术专家，作为行业代表参与分享。，更希望以此为契机，与更多关注AI眼镜的伙伴一起交流。第一代AI眼镜面世接受市场检验后，有什么可以总结的？打造一款爆款AI眼镜，需要解决哪些方面的挑战？：AI音频眼镜、AI拍摄眼镜、AI+AR眼镜。2025年，AI眼镜市场一片火热。本次AI眼镜专题沙龙，将以行业代表。
博客
阿里智能体多轮推理超越GPT-4o，开源模型也能做Deep Research
06-06 30
通过与环境的交互，智能体不断试错，学习在复杂多变的环境中做出最优决策。在获得问答对后，WebDancer利用ReAct框架，结合闭源的GPT-4o和开源的QwQ模型，进行长短思维链的蒸馏，生成高质量的agentic数据。团队在QwQ模型上仅使用约6000条高质量、具备长思维链的训练数据，就在GAIA任务中取得了优异的效果，表明精细构造的思维轨迹在复杂任务中的价值远高于海量但粗糙的数据。采用“由简到难”的策略，从简单问题出发，逐步增加问题的复杂度，构建多步推理的问答对，促进智能体能力的逐步进化。
博客
Figure机器人分拣快递新视频曝光，网友：太像人类
06-06 10
和OpenAI分道扬镳之后，Figure动作迅速进展频频，没过几天就发布了Helix，也就是Brett Adcock前面说的“重大突破”。比如配备Helix的Figure机器人只需简单的“拾起 [X]”指令，就能拾起几乎任何小型家居物品，无需任何事先演示或大量的手动编程。比起使用OpenAI的模型，Figure现在更倾向于垂直整合机器人AI，建立端到端AI模型，专门服务于特定的机器人硬件。目前，Figure的第一家大客户是宝马，双方合作将机器人部署到汽车制造工厂，用于完成高精度和重复性任务。
博客
清华给电子显微镜加上Agent，DeepSeek V3全程调度，数天流程缩短至几分钟
06-06 26
电子显微技术的快速发展已达到亚原子级的成像效果，但解析表征图像的原子结构仍然需要专家逐像素判读、手动建模，对应模板结构，这样才能得到可供计算的晶体结构文件，这一过程往往耗时数小时甚至数天，还容易因噪声或元素重叠出错，就像拿着古地图却无法快速生成GPS导航一样令人沮丧。结果显示，AutoMat在重建精度与能量预测上全面超越现有多模态大模型与AtomAI等专用工具，首次让“看到原子”真正等同于“理解材料”，为材料发现和实验流程的自动化闭环开启了高速通道。比如，模板检索失灵（39.3 %）。
博客
12.1万高难度数学题让模型性能大涨，覆盖FIMO/Putnam等顶级赛事难度，腾讯上海交大出品
06-06 42
此基线在三个测试集上的性能如上表Random Acc.列所示。在经过对问题难度、污染程度、数据可用性等多方面因素的综合考虑后，作者们选择了两个现有的定理证明测试集FIMO与PutnamBench，并从当前污染较少的HMMT测试集中手工筛出了定理证明相关题目，构成三个自然语言定理证明测试集。团队表示，DeepTheorem框架的发布，无疑为人工智能在数学推理领域的应用开辟了全新的思路，它不仅突破了使用形式语言进行定理证明的传统范式限制，更通过其大规模、高质量的训练数据提升了AI在前沿数学方面的卓越性能。
博客
Gemini新版蝉联竞技场榜一，但刚发布就被越狱了
06-06 21
输入Token价格是o3的1/8，Claude 4 Opus的不到1/10、Grok 3的不到一半，输出Token则是o3的1/4、Claude的13%、Grok的2/3。Gemini 2.5 Pro最早是在3月25日发布了实验版本，4月4日更新了公开预览版，代号仍然是0325，再然后就是上个月的0506。在“人类最后的考试”当中，0605的成绩达到了21.6%，领先了o3 1.3个百分点，超过了Claude 4 Opus的两倍。比OpenAI o3、Claude 4 Opus和Grok 3都要来得便宜。
博客
Qwen3深夜开源新系列：文本表征模型，3种尺寸可选，超越商业API拿下SOTA
06-06 23
也就是针对不同任务类型和语言特性，使用Qwen3动态生成了一系列弱监督文本对，突破了传统方法依赖社区论坛或开源数据筛选获取弱监督文本对的局限性，实现了大规模弱监督数据的高效生成。目前，该系列模型已在Hugging Face、ModelScope和GitHub平台开源，用户也可以直接使用阿里云百炼平台提供的最新的文本向量模型服务。Qwen3-Embedding系列模型的训练继承了GTE-Qwen系列（此前推出的文本向量模型）的多阶段训练范式，针对具体应用场景进行了深度优化。期待苹果WWDC了。
博客
Qwen&清华团队颠覆常识：大模型强化学习仅用20%关键token，比用全部token训练还好
06-05 16
团队在数学数据集上训练的模型，在编程任务LiveCodeBench上测试时，仅用20%高熵token训练的模型依然大幅超越了使用全部token训练的版本。外，团队还从token熵的角度探究了RL对LLM的主要影响，并进一步讨论了RL与SFT的区别、LLM RL的特殊性与clip-higher相较于entropy bonus的优势。从训练过程中的整体熵变化也能看出端倪：使用20%高熵token训练时，模型保持了较高的整体熵水平，而使用全部token或只用低熵token时，整体熵水平都会下降。
博客
最新AI眼镜格局报告：百镜大战拉开序幕，阿里DeepSeek高通成幕后赢家
06-05 24
从Ray-Ban Meta的销量屡破上限，到雷鸟V3的火热开卖，再到凭借演讲提词功能出圈的Rokid Glasses，及「李书福同款」的StarV Air2，不同配置、不同功能的AI眼镜产品层出不穷。线上销量过万的AI眼镜产品涵盖AI音频眼镜、AI拍摄眼镜与AI+AR眼镜。大模型的接入，不仅增强了智能眼镜的语义理解和上下文处理能力，也提升了智能眼镜在语音、视觉上的多模态交互能力，让眼镜变成真正的「AI眼镜」。百镜大战是否名不副实？在AI眼镜应用价值发展的不同阶段，AI眼镜的竞争力要素有不同的偏重。
博客
精准调控大模型生成与推理！浙大&腾讯新方法尝试为其注入“行为定向剂”
06-05 13
但我们真正追求的，并不是在“聪明但难控”与“听话但愚钝”之间二选一，而是打造既强又好的AI助手——既具备强大的智能能力，又能始终按照人类意图行事。研究人员在更大的模型DeepSeek-R1（671B）上也做了干预思考的实验。基于此，STA会对这些关键神经元的激活频率和幅度进行有针对性的干预：抑制与“越狱”或输出违规内容相关的神经元，同时保留或增强与正确回应对应的神经元活性。然而，模型的“安全防御”能力往往和它的“通用智能”能力紧密耦合：为了让模型学会拒绝有害输入，可能会不小心削弱它对正常问题的应对能力。
博客
抽象小视频秒变特效大片：原视频精髓不变角色环境任意换，Luma出品
06-05 23
动作有了，场景切换也是信手拈来，从白天到黑夜、公园到峡谷，只要你想，你就可以立马跳转到世界的另外一个角落。比如下面这个西海岸rapper，想要更酷帅更嘻哈，那就给墙上画涂鸦、坐骑也换成更炫酷的荧光紫，还有必不可少的大金链子。先看下面这个小哥，本来在停车场swag，一秒穿梭到城市间梭哈，动作1比1复刻，有点赛博朋克2077那味了。最关键是能对角色、场景、动作进行精准控制，只编辑你想编辑的元素，不会篡改本来的人物动作。，哪里不满意点哪里，没有绿屏，也没有繁琐的跟踪，细节处理变得更加容易。
博客
CVPR 2025 Tutorial：从视频生成到世界模型 | MMLab@NTU团队&快手可灵等联合呈现
06-05 17
可灵、Sora、Genie、Cosmos、Movie Gen 等模型的发展已提供初步答案：视频生成可以不仅仅是输出，更是通向感知-建模-推理-决策一体化世界模型的入口。如何将视频生成作为强大的视觉先验，赋能 AI 感知世界、理解交互、推理物理，从而迈向更通用、更具具身智能能力的世界模型。他们将在生成建模、3D理解、强化学习与物理推理等方向展开分享，探讨如何将生成能力转化为感知、预测与决策的智能基座。欢迎大家现场参与，一起探讨：如何以视频生成为基石，迈向理解、交互与建模真实世界的下一代智能系统。
博客
推理时间减少70%！前馈3DGS「压缩神器」来了，浙大Monash联合出品
06-05 14
在DL3DV上关于密集输入条件（36个视图）的定性比较结果表明，DepthSplat由于密集视图中的冗余，表现不佳，而ZPressor有效压缩了这些信息，显著改善了视觉效果。ZPressor不仅在适中视图设置下持续提升了现有基线模型的性能，更在密集输入场景下显著增强了模型的鲁棒性，同时保持了极具竞争力的效率（包括内存和速度）。此外，ZPressor解决了现有模型在内存方面的重要障碍。通过这种方式，支持视图的信息被有效地整合到锚点视图中，不仅捕捉了两者之间的关联性，还在保持紧凑性的同时避免了冗余。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值