DeepSeek V3“报错家门”：我是ChatGPT

于 2024-12-29 11:53:49 发布
阅读量3.9k 收藏 21
点赞数 29
文章标签： chatgpt 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/QbitAI/article/details/144813928
版权
金磊 发自 凹非寺
量子位 | 公众号 QbitAI

要说这两天大模型圈的顶流话题，那绝对是非DeepSeek V3莫属了。

不过在网友们纷纷测试之际，有个bug也成了热议的焦点——

只是少了一个问号，DeepSeek V3竟然称自己是ChatGPT。

c9627dcdd1479a9c8e5a8bd0daf0f1b8.png

甚至让它讲个笑话，生成的结果也是跟ChatGPT一样：

5a331d920c108bf8671d0a374f62b4a2.png

加之DeepSeek V3这次爆火的一个亮点，就是训练只花了557.6万美元的成本。

于是乎，有人就开始怀疑了：它不会是在ChatGPT的输出基础上训练的吧？

好巧不巧，Altman也发了一个状态，似乎在暗讽着什么……

最低0.47元/天 解锁文章
QbitAl
关注
博客
MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B
06-11 19
另外模型在SuperGPQA和MMLU-Pro基准测试上的零样本评估表明，RPT-14B不仅优于R1-Distill-Queen-14B，还在推理模式中显著超过了R1-Distill-Qwen-32B。在性能上，也可与更大的模型R1-Distill-Queen-32B相媲美，说明RPT能有效捕捉token生成背后的复杂推理信号，并在提升LLM的。在GPT-4o中全是传统预训练计算，在o1中引入了一些强化学习运算并且取得了不错的效果，在o3中则引入更多，他们预计在未来的某一代模型中，将会。
博客
端到端GUI智能体首次实现“犯错-反思-修正”闭环，模拟人类认知全过程
06-11 18
从预训练、离线微调到在线交互，它系统性地打通了“犯错—反思—修正”的认知闭环，使模型在面对真实环境中的不确定性时，能够更加鲁棒、灵活地应对各种突发状况。然而，当前端到端GUI多智能体的训练范式仍存在明显的瓶颈：当前模型往往使用几乎完美的离线演示轨迹进行训练，使得模型缺乏反思和改正自身错误的能力，并进一步限制了通过在线强化学习激发和提升能力的可能。当在预训练阶段引入反思导向任务数据，即使是较小规模的模型，也能显著提升其在反思相关任务中的表现，甚至达到接近闭源大模型的水平。
博客
百度推出真·AI相机，拍照存储管理一步到位
06-11 37
输出端，文库、网盘通过数百项Agent，可灵活匹配各种任务需要，最终实现文档、图片、图表、视频、PPT、漫画小说……在教学场景中，GenFlow超能搭子 2.0可基于用户存储的学习资料，定制支持编辑的导图与课件。在办公场景中，你还可以拍摄发票，立马完成智能扫描；拍摄手写表格图片，一键转为可编辑电子图表。比如，要它计算某项工作的成本并生成一个成本计算器，它会对记忆库进行挖掘，依据用户以往的习惯，自动将汇率计算纳入其中。处理端，百度文库、网盘在四月份百度Create大会上联合推出的内容操作系统——。
博客
新“SOTA”推理模型避战Qwen和R1？欧版OpenAI被喷麻了
06-11 13
作为Mistral推出的首个基于纯强化学习（RL）训练的推理大模型，Magistral采用改进的Group Relative Policy Optimization（GRPO）算法。在该模型发布的前几个小时，Mistral AI的CEO Arthur Mensch在接受炉边访谈时声称即将发布的Magistral能够与其他所有竞争对手相抗衡。与通用模型不同的是，Magistral针对多步逻辑进行了微调，提升了可解释性，并在用户的语言中提供了。
博客
医学领域也有世界模型了：精准模拟肿瘤演化，还能规划治疗方案
06-11 12
在公开数据集上，F1-score达到64.08%，接近专业放射科医生（71.43%）的水平，同时在Jaccard、Precision和 Recall等关键指标上也全面领先多模态大模型。进一步地，将MeWM融入医生的决策流程中，平均可带来13%的 F1-score提升，辅助医生在术前更有效地预判治疗结果并优化用药与栓塞材料配置。进一步的Kaplan-Meier分析显示，MeWM的风险分层能力更强，C-Index提高至 0.752，显著优于影像组学特征驱动的Cox模型。
博客
“甲方快乐模型”诞生，拿下平面设计新SOTA！多条件一键生成，还能独立调整元素 | 复旦＆字节
06-11 10
具体来说，CreatiDesign在主视觉元素的还原（如DINO-I、M-DINO分数）、辅助元素的空间位置与属性一致性、文本内容的准确率（Sen.Acc）和编辑距离（NED），乃至图像整体质量（IR、PickScore）等各项评价指标上，在当前主流的多主体图像驱动、布局驱动及多条件驱动的SOTA模型中，位居第一梯队。：每个布局token仅与其指定区域内的图像token交互，同时阻断布局token之间、布局token与主视觉或全局描述token之间的交互，防止布局元素之间的语义串扰与不同条件之间的干扰。
博客
华为版《黑客帝国》首次亮相：训推复杂AI前先“彩排”，小时级预演万卡集群
06-11 666
这些环节可以高效精准构建集群系统对计算、存储、网络的“状态监控”，通过马尔科夫链刻画系统的随机行为，将系统离散化为有限状态（如“健康”、“亚健康”、“故障”等），并基于事件驱动构建状态转移模型，从宏观视角掌控全局硬件系统状态。具体的方法叫做动静态融合的大规模训练集群建模仿真，可以通过模块化拼装AI任务流程，像搭积木一样灵活构建复杂模型，快速分析计算、内存和通信的资源消耗。，在计算机里 “虚拟” 出一个集群，模拟各种故障发生，检测及后续影响和恢复的过程，从而分析如何提升可用度。
博客
o3绞尽脑汁仅答对40%的题目，开源模型基本乱猜？MMSI-Bench：多图空间智能试金石
06-11 16
为确保评估的全面性和真实性，MMSI-Bench图像全部源于真实的、多样化的场景数据集，包括ScanNet，Matterport3D（室内3D场景），nuScenes，Waymo（自动驾驶），AgiBot-World（机器人），DAVIS 2017（视频物体分割），Ego4D（第一人称视角视频）及DTU（局部场景重建）。有效性与标注的重要性：提供人类标注推理步骤时，自动化分析与人类专家判断的匹配度达71.8%（若仅提供标准答案则降至53.6%），凸显高质量标注对可靠自动化错误分析的关键作用。
博客
智能体自己出现问题自己找！首次提出“自动化失败归因”课题 | ICML2025 Spotlight
06-11 13
即便是表现最好的单一方法，在识别“背锅Agent”上的准确率也仅有约53.5%，而在准确定位“错误步骤”上，准确率更是低至14.2%。首先，提出并定义新问题，首次将“自动化失败归因”形式化为一个具体的研究任务，明确了要找出导致失败的责任Agent(failure-responsible agent)和决定性错误步骤(decisive error step)。而上下文长度对性能构成制约，实验还发现，随着失败日志上下文长度的增加，所有归因方法的性能均呈现下降趋势，尤其是在错误步骤定位的准确性方面更为敏感。
博客
o3-pro正式推出！说声“嗨”就花了80美元，思考1+1用时16分钟
06-11 322
5、从相对论的角度看，奇点是一点点发生的，融合是逐步进行的。（回想2020 年，如果那时我们说2025年会接近 AGI，听起来会很疯狂，但对比过去五年所发生的一切，也许现在的预测不那么疯狂了。相比之下，o3-pro不仅提出了更多限制，而且它所指出的每一个限制都是极其关键、内在的问题，需要彻底重构。此外，o3-pro也一举超越o3、o1-pro，成为当前最擅长数学、科学和编程的OpenAI模型。o3-pro确实变强了，能够解决一些其他模型无法答对的问题，不过由于响应变慢，价格也是真贵。
博客
一招缓解LLM偏科！调整训练集组成，“秘方”在此 | 上交大&上海AI Lab等
06-10 25
而选取过小的步长，对于模型最终的效果影响也会较小。不是关键：因为以往的re-weighting工作会控制整体的训练数据量，研究团队将对比的方法DoReMi和DOGE，都提升了整体的数据量到IDEAL对应的数量，但实验结果证明，提升数据量而没有改变数据混合分布，对于模型的提升效果甚微。一般随机初始的训练集分布都是有进一步优化的空间：文章中，无论在在四个领域四个benchmark，还是5个领域8个benchmark上，无论初始分布是各个领域是数量相等的或者不等的分布上，IDEAL都实现了对于平均结果的提升。
博客
0.5B以小搏大拿下端侧模型新SOTA：4090可跑，长文本处理5倍常规加速丨清华&面壁开源
06-10 32
具体而言，MiniCPM4与Qwen3具有相当的性能，而Qwen3使用了36T词元进行训练，而MiniCPM4仅使用了8T词元，只有Qwen3训练数据量的22%，这充分验证了Ultra-FineWeb数据筛选与Model Wind Tunnel v2训练优化策略的有效性。为了能够实现极致的推理加速，在MiniCPM4中，团队构建了稀疏注意力机制 InfLLM v2，使用了投机采样算法 FR-Spec，提出了前缀敏感的量化算法，并搭建了自研的推理框架，从而实现在端侧芯片上的极致提速。
博客
不是视频模型“学习”慢，而是LLM走捷径｜18万引大牛Sergey Levine
06-10 23
甚至从数据上来说，视频数据比文本数据包含的信息更丰富，那么预测下一帧得到的认知会远比预测下一词得到的认知更全面。对此，有评论者提出：视觉、语言、行动系统就像独立的洞穴，如果能够通过共享结构建立桥梁，可能就不需要逃离“洞穴”，AI通过语言模型学习人类的知识和思维方式，但这些知识就像洞穴墙壁上的影子，是人类智慧的间接反映。“柏拉图洞穴”原本的故事是指一群人被绑在洞穴里，只能看到墙壁上的影子，不能看到洞穴外的阳光。比如，一个飞往宇宙探索的机器人，在那里没有人能提供文本，但是它仍然能获取丰富的视频数据。
博客
北大伯克利联手“拷问”大模型：最强Agent也才40分！新基准专治“不听话”的AI分析师
06-10 322
固守首次尝试：一些Agent在初期会做出一个简单粗暴的尝试（比如在预测任务中，模型在初期会直接用训练集的中位数作为预测值），然后就“固执己见”，在后续交互中不再根据新指令开发更复杂的模型。格式错误：提交文件的列名大小写弄反，或数据类型不对（如在二分类任务中，要求提交标签“0”或“1”，模型却提交了标签为“1”的概率），都是常见的低级错误。这些决策充满了基于领域知识的“主观性”，指令也是一步步演进的。Agent：即被测试的大模型，它的任务是严格遵循“用户”的指令，通过编写和执行代码来完成任务。
博客
华为创造AI算力新纪录：万卡集群训练98%可用度，秒级恢复、分钟诊断
06-10 698
而且，华为团队还打造出Step级重调度能力，以前遇到频繁的 HBM 多比特 ECC 故障，修复可能要花很长时间，现在1分钟内就能搞定，用户因为故障损失的算力也减少了5%，实实在在地省下了不少 “计算力”。总结来看，针对AI算力集群的高可用性，华为团队创新性提出了“3+3”双维度技术体系，即故障感知诊断、故障管理、集群光链路容错等三大基础能力，以及集群线性度、训练快恢、推理快恢等三大业务支撑能力。大模型的落地能力，核心在于性能的稳定输出，而性能稳定的底层支撑，是强大的算力集群。
博客
SOTA级视频编辑新方法：无需训练一句话编辑视频，背景保持100%
06-10 25
这种直接演化范式带来的第二个问题是，由于跳过了反演过程，原始视频的控制信号会在编辑的整个流程均显著存在，往往会对最终效果施加过强的“控制效果”，导致修改后的视频中依然残留明显的原始物体轮廓或细节伪影。总体而言，FlowDirector展示了视频编辑的新思路：无需反演的直接流编辑，并引入了空间矫正和自动引导，显著提升了编辑视频的质量，实现了快、准、省的三重跃升。的演化路径，但这种直接演化范式并非完美无瑕，直接编辑路径产生的编辑流作用于全视频特征，会导致无关区域发生意外变化，严重影响编辑视频的保真度。
博客
英伟达港大联手革新视觉注意力机制！GSPN高分辨率生成加速超84倍
06-10 26
需要注意的是，GSPN本身是一个独立的注意力机制层，可以非常灵活的用在任何视觉网络中。通过共享1×1卷积进行降维，再通过三个独立的1×1卷积生成依赖于输入的参数，用于二维线性传播，这些投影和传播封装在模块化的GSPN单元中。采用Swin-Transformer的四级分层架构，通过堆叠设计良好的GSPN块，在相邻层级间进行下采样操作，平衡计算效率和表示能力。此外，GSPN引入了一个可学习的合并器，用于聚合来自所有扫描方向的空间信息，增强了模型动态适应视觉数据二维结构的能力。下面的示意图给出了肯定答案。
博客
揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路
06-10 23
RaML从优化角度分析了这些令牌的特殊之处：团队统计了一些典型的“反思”令牌对于大模型输出正确答案的置信度的影响，实验结果发现这些令牌会引起模型置信度的显著变化，这意味着这些令牌有助于模型跳出鞍点区域，从而提升推理性能。因此，对于规模相对较小的模型，SFT的收益更大，因为它提供了“正确答案的路径”，相当于给模型一个“最优梯度”的指导，能够迅速提升其“学习如何思考”的能力。这一初步尝试意味着，未来可以通过某种更有效的方法，从长推理轨迹中提取出更高效的短推理轨迹，从而在后训练阶段降低长推理模型的解码开销。
博客
60%情况下，主流大模型没理解风险只是装懂！别被模型的“安全答案”骗了
06-10 27
此外，研究人员认为SSA这一现象的出现，是由于在推理模型的对齐训练过程中广泛使用了安全相关数据，这些数据可能与开源基准数据集中的样本表现出一定程度的相似性。研究人员对保留的有风险和无风险的指令进行了人工标注：为有风险的指令编写了其有风险的原因。此前OpenAI和Anthropic的研究，都已经证明将明确的安全规则纳入大模型的输入中，可以显著提升其回复的安全性。的场景下的实验显示，面对包含多种风险类型的指令时，LRMs通常只关注其中一个突出的风险，而忽略了其他并存的风险。， SSA造成了一种虚假的安全感；
博客
强化学习之父：LLM主导只是暂时，扩展计算才是正解
06-10 28
AlphaGo在与李世石对弈的第二局中，下出的神之一手——第37手，在人类标准下完全非常规的走法，就充分展现了AI在这种体验学习下的思考潜力。这就类似于人类社会中的经济运转，得益于自然语言和货币的发明，尽管人们拥有不同的目标和能力，但在过程中相互协调配合，也能产生出不错的效果。Sutton认为这种声音更多的是来源于对未知的恐惧，要接受个体目标的多样性，建立合作化秩序，AI的潜力恰恰就在去中心化合作。也就是说，AI将会在自主体验中，完成自己的更新迭代，产生更高级的数据并反哺自身，构成一个“越学越强”的循环。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值