51c大模型~合集147

我自己的原文哦~        https://blog.51cto.com/whaosoft/14023788

#你的下一个AI项目

灵感藏在首届魔搭开发者大会的七大论坛里

此刻我们正处在什么样的时代？是姚顺雨笔下的「AI 的下半场」，是 Andrej Karpathy 定义的「软件 3.0 时代」，也是一个创造者与 AI 协同进化，重新定义「可能」的时代。

层出不穷的创新模型以前所未有的速度涌现，深刻地改变着世界的每一个角落。对于开发者而言，这既是充满无限机遇的黄金时代，也带来了前所未有的挑战：如何紧跟技术前沿，高效地获取、使用并创造 AI 模型？

开放、协作、共享的社区生态成为推动 AI 浪潮奔涌向前的核心动力。正是在这样的背景下，一个能够汇聚顶尖智慧、提供全方位支持、连接创造者与使用者的平台，显得至关重要。魔搭社区（ModelScope）正是顺应这一需求而发展的。

6 月 30 日，首届魔搭开发者大会在北京举办。自 2022 年 11 月初成立以来，历经两年多高速发展，社区已汇聚超 500 家贡献机构，托管的开源模型数量已超 7 万个，增长超 200 倍，用户数量从 2023 年 4 月的 100 万扩展至如今 1600 万，增长约 16 倍。

魔搭社区已形成全链路服务，支持开发者体验、下载、调优、训练、推理、部署模型，覆盖 LLM、对话、语音、文生图、图生视频、AI 作曲等多个领域，并提供 4000+ MCP 服务和调试工具。目前，魔搭社区已成长为中国最大的 AI 开源社区，业界头部模型均在魔搭社区率先开源。

通过将先进的开源模型汇聚在社区，魔搭可以让广大的模型开发者，迅速获取到最新最好的模型；与此同时，魔搭也为这些模型提供了迅速触及潜在的用户以及下游生态的桥梁，模型贡献者与模型使用者在魔搭上的双向奔赴，使得模型应用的无限可能，得以被激发。

七大主题论坛解锁 AI 最新趋势

魔搭社区是一个开放、中立、非盈利的组织。本次开发者大会由国家信息中心指导、魔搭社区主办。一场主旨论坛加六大主题论坛，大会覆盖了前沿模型与工具、MCP 和 Agent、科研智能等 65 个主题，国内外知名 AI 开源模型团队均现场参会分享。

从这次论坛中，我们可以观察到 AI 发展的一些新趋势。

开源

2025 年，全球 AI 开源浪潮汹涌，而中国已成为其中最关键和独特的驱动力量。这一年，开源不再是少数派的选择，以阿里巴巴（通义千问）、深度求索（DeepSeek）等为代表的中国企业，持续推出性能比肩世界顶尖水平的开源模型。以 Qwen 系列为代表的开源模型，已逐渐成为全球 AI 开发者的首选工具之一，推动了从学术研究到产业应用的广泛创新。

它们既是打破技术封锁、实现高水平科技自立自强的途径，也是构建自主可控 AI 技术生态、赋能庞大制造业体系的基石。这种模式催生了独特的生态：一方面，开发者社区（如魔搭 ModelScope）异常繁荣；另一方面，开源与国家级新基建（如算力网络）的结合更为紧密，推动 AI 在公共服务、工业制造等领域的深度应用。

多模态与世界模型

AI 不再仅仅满足于处理文本或图像。多模态 AI 的发展达到了新的高度，能够同时理解和生成文本、图像、音频、视频甚至 3D 信号。这使得 AI 能够与世界进行更自然、更全面的交互。既有 GPT 4o、即梦在图片方面的以假乱真，又有 Veo 3、可灵在视频方面的震撼表现，让网友大呼「现实不存在了」。

与此紧密相关的是世界模型（World Models）的兴起。AI 开始构建对物理世界运行规律的内部表征和理解，而不仅仅是识别模式。这意味着 AI 能够进行简单的推理、预测物理互动的结果，并更好地理解人类的意图。例如，视频生成模型不仅能「画」出动态，更能「理解」画面中的因果关系。这为机器人、自动驾驶和更高级的虚拟助手的发展奠定了基础。

小模型与侧端应用

在追求更大、更强的模型的同时，业界也愈发关注效率和成本。随着 AI 应用的普及，在云端运行庞大的模型变得既昂贵又不切实际。因此，2025 年 AI 发展的另一个重要方向是模型压缩、量化和蒸馏等技术。

这催生了性能强大但规模更小的「边缘 AI」模型。这些模型可以直接在个人电脑、智能手机甚至更小的物联网设备上运行，不仅降低了延迟和云端依赖，也更好地保护了用户隐私。

清华大学电子工程系系主任、无问芯穹科技有限公司发起人汪玉在会上分享了硬件创新与侧端 AI 的技术突破与挑战，并介绍了该公司开源的端侧解决方案中的全模态理解小模型 Megrez-3B。

xx智能

如果说多模态 AI 是让 AI 有了「五官」，那么xx智能就是让 AI 拥有了「身体」。2025 年，我们看到了更多 AI 技术与机器人实体相结合的突破。结合了先进视觉语言模型的人形机器人开始走出实验室，尝试在真实世界的非结构化环境中执行复杂任务，例如仓库分拣、家庭服务等。

关键词不仅在于硬件的进步，更在于「大脑」与「身体」的协同。AI 模型需要实时地将多模态感知转化为物理世界的具体行动，并从互动中学习和适应。

清华大学特别研究员、星海图联合创始人赵行在会上聚焦xx智能开发者生态构建，围绕本体、数据、模型与应用等关键要素，分享星海图在推动xx智能开发者生态构建的探索与思考。

Agent 与 MCP

2025 年，能够自主理解、规划并执行复杂任务的 AI Agent 成为行业焦点。然而，如何确保这些强大智能体的行为可控、可靠，是其走向大规模应用的关键挑战。

为此，业界正积极探索新的交互范式，让 Agent 从难以预测的「黑箱」，转变为透明、可控的智能伙伴。其中，以「模型上下文协议」（Model Context Protocol, MCP）为代表的框架成为重要突破。它通过标准化的沟通模式，使 Agent 在行动前能主动澄清目标、展示规划并请求授权，从而确保人类的最终控制权，推动 AI Agent 实现了从「可用」到「可靠」的关键飞跃。

生成式 AI 的深度应用

继文本和图像生成之后，2025 年生成式 AI 开始在更专业的领域展现价值：

科学发现：AI 被用于加速新材料的发现、药物设计和复杂的科学模拟。

工程与设计：工程师和设计师使用 AI 来生成和优化复杂的 3D 模型、电路设计和工业流程。

软件开发：AI 不仅能编写代码片段，更能理解整个代码库的逻辑，辅助进行重构、调试和文档生成，成为开发者的「结对程序员」。

个性化内容与娱乐：实时生成、可交互的虚拟世界和游戏体验成为可能，影视制作流程也深度整合了 AI 技术。

开发者激励计划

大会现场发布了魔搭开发者勋章激励计划，为在平台上作出贡献的开发者赋予荣誉和奖励，激励开发者持续成长。勋章获得者可以获得平台免费 GPU 算力支持，以及 AIGC 专区高阶训练券、高阶生图券等奖励，用于模型生成、模型训练、应用搭建等场景。未来，魔搭开发者勋章激励计划还将面向代码搭子、布道搭子等开发者贡献群体开放，同时也会推出针对社区活跃行为的勋章激励。

魔搭社区发起人周靖人表示，魔搭将打造为广大 AI 开发者交流的首选社区，实现开发者与社区的共同成长。期望有更多的开发者不仅能在魔搭找到优质模型，还能找到志同道合的「搭子」，让更多的创新想法在魔搭社区碰撞，更多的 AI 应用在魔搭社区进行孵化，推动下一波人工智能技术的发展。

#机器学习与AI核心30问

Sebastian Raschka著作免费开放！新手专家皆宜

知名 AI 技术博主、《Python 机器学习》作者 Sebastian Raschka 又来放福利了！

今天，他宣布，正值夏季实习和技术面试之际，自己著作《机器学习 Q 与 AI：30 个必备问答》的全部 30 章内容免费开放。他希望能为大家带来帮助，并祝面试的小伙伴好运。

这本书纸质版（+ 电子版）原价 49.99 美元（约合 358 元），电子版原价 39.9 美元（约合 286 元）。

如今，机器学习和人工智能领域正以前所未有的速度发展。研究人员和从业者常常疲于追赶层出不穷的概念与技术。

本书为你的成长旅途提供了碎片化的知识精华 —— 从机器学习新手到专家，涵盖多个领域的主题。即便是经验丰富的机器学习研究者和从业者，也能从中发现可纳入自身技能库的新内容。

评论区有人问，「这本书是用 AI 写的吗？」Sebastian 称当然不是，这样做违背他的个人伦理。有趣的是：这本书的大部分内容写于 2022 年 11 月第一版 ChatGPT 发布前的几个月，最开始是在 LeanPub 上发布，后来在 2024 年由 No Starch 出版社出版。这本书可能曾是 ChatGPT 的训练数据。

Sebastian 还链接到了自己 2023 年 1 月关于本书的一则动态，他向书中添加了很多新内容，包括无状态与有状态训练、恰当评估指标以及有限标注数据。

Sebastian 的这本书收获了很多普通读者与业界同行的好评。

《Designing Machine Learning Systems》一书的作者 Chip Huyen 表示，「Sebastian 独特地融合了学术深度、工程敏捷性以及化繁为简的能力。他能深入探讨任何理论主题，通过实验验证新想法，然后用简单的语言向你解释清楚。如果你正开启机器学习之旅，这本书就是你的向导。」

《How AI Works》一书的作者 Ronald T. Kneusel 称，Sebastian 的书籍《机器学习 Q 和 AI》，是关于大多数入门课程未涵盖的关键 AI 主题概述的一站式指南…… 如果你已经通过深度神经网络踏入了 AI 世界，那么这本书将为你提供定位和理解下一阶段所需的知识。

接下来，我们看看这本书涵盖了哪些内容。

书籍介绍

本书共有 5 大部分，30 个章节。

第一部分讲「神经网络和机器学习」，包括如下主题：

第 1 章：嵌入、隐空间与表征。

深入解析嵌入向量、隐向量与表示的异同，阐述这些概念如何帮助机器学习模型编码信息。

第 2 章：自监督学习。

聚焦自监督学习方法，该技术使神经网络能够以监督学习的方式利用大规模无标注数据集。

第 3 章：少样本学习。

介绍专为小规模训练数据集设计的监督学习技术 —— 少样本学习。

第 4 章：彩票假设。

探讨「随机初始化的神经网络中包含更小的有效子网络」这一理论。

第 5 章：利用数据减少过拟合。

针对机器学习中的过拟合问题，讨论以数据增强和无标注数据利用为核心的解决方案。

第 6 章：通过模型修改减少过拟合。

延续过拟合讨论，重点分析正则化、简化模型结构和集成学习等模型层面的解决方法。

第 7 章：多 GPU 训练范式。

详解数据并行与模型并行等多 GPU 加速训练方案。

第 8 章：Transformers 的成功。

解析 Transformer 架构流行起来的原因，包括注意力机制、并行化优势和高参数量等关键特性。

第 9 章：生成式 AI 模型。

全面综述能生成图像、文本和音频等多媒体内容的深度生成模型，分析各类模型的优缺点。

第 10 章：随机性来源。

剖析深度神经网络训练中可能导致结果不一致的随机性因素（包括训练和推理阶段）。这些随机性既可能来自意外因素，也可能是设计者有意引入。

第二部分讲「计算机视觉」，包含如下主题：

第 11 章：计算参数量。

详细解析卷积神经网络（CNN）中参数量的计算方法，该技术对于评估模型的存储与内存需求至关重要。

第 12 章：全连接层和卷积层。

探讨卷积层在何种场景下可完全替代全连接层，这对硬件优化或模型简化具有重要实践价值。

第 13 章：ViT（Vision Transformers）的大型训练集。

深入研究视觉 Transformer（ViT）相比传统卷积神经网络（CNN）为何需要更大量训练数据的内在机理。

第三部分讲「自然语言处理」，包含如下主题：

第 14 章：分布假说。

深入探讨分布假说，该语言学理论认为，出现在相同上下文中的词语往往具有相似含义，这一理论对机器学习模型的训练具有重要指导意义。

第 15 章：文本数据增强。

重点介绍文本数据增强技术，该方法通过人工扩展数据集规模，能有效提升模型性能。

第 16 章：自注意力。

解析自注意力机制，该技术使神经网络的每个输入片段都能与其他部分建立关联，是现代大语言模型的核心组件。

第 17 章：编码器 — 解码器风格的 Transformers。

详细对比编码器和解码器两类 Transformer 架构的差异，并阐明不同架构在各类语言处理任务中的适用场景。

第 18 章：使用和微调预训练 Transformers。

系统阐述预训练大语言模型的微调方法，并分析不同方法的优势与局限性。

第 19 章：评估生成式大语言模型。

列举困惑度（Perplexity）、BLEU、ROUGE 和 BERTScore 等主流语言模型评估指标。

第四部分讲「生产和部署」，包含如下主题：

第 20 章：无状态和有状态训练。

区分模型部署中使用的无状态与有状态训练方法，阐明两者在实时推理与持续学习中的不同应用场景。

第 21 章：以数据为中心的 AI。

探讨以数据为中心的 AI 范式，该范式通过优化数据集（而非调整模型架构）来提升性能，与传统以模型为中心（Model-Centric）的方法形成鲜明对比。

第 22 章：加速推理。

介绍不改变模型架构且不损失精度的推理加速方法，包括模型量化、知识蒸馏等关键技术。

第 23 章：数据分布偏移。

解析 AI 模型部署后可能面临的训练数据与实际数据分布偏移问题，系统分类并阐述以下常见偏移类型：协变量偏移、概念漂移、标签偏移和领域偏移。

第五部分讲「预测性能和模型评估」，包含如下主题：

第 24 章：泊松回归与有序回归。

重点解析泊松回归与有序回归的区别，泊松回归适用于符合泊松分布的计数数据（如飞机上感冒感染人数），而有序回归则针对有序分类数据（如疾病严重程度分级），且不预设类别间距相等。

第 25 章：置信区间。

深入探讨机器学习分类器置信区间的构建方法，首先阐述置信区间的核心作用 —— 估计未知总体参数，随后系统介绍三大关键技术：正态近似区间法、自助法以及多随机种子重训练法。

第 26 章：置信区间 vs. 保形预测。

深入辨析置信区间与保形预测的本质差异：置信区间聚焦参数估计的不确定性，而保形预测则是构建具有确定概率保证（如 95%）的预测区间，确保能够覆盖真实观测值的关键技术。

第 27 章：恰当评估指标。

着重阐释优秀评估指标在数学与计算机科学领域应具备的核心特性，并系统验证机器学习常用损失函数（如均方误差 MSE、交叉熵损失 Cross-Entropy Loss）是否符合这些特性。

第 28 章：k 折交叉验证中的 k。

深入探讨 k 折交叉验证中 k 值参数的核心作用，系统性地分析选择较大 k 值时需要权衡的利弊关系。

第 29 章：训练集与测试集分布差异。

针对模型在测试集上表现优于训练集的情况，本文提出了解决方案。通过分析训练集与测试集之间的分布差异，介绍了对抗验证的概念及其应用策略，以识别并解决两类数据集间的偏差问题。

第 30 章：有限标注数据。

介绍在数据有限的情况下提升模型性能的多种技术方法，涵盖数据标注、自助采样以及迁移学习、主动学习和多模态学习等范式，以有效应对小样本场景下的机器学习挑战。

• 书籍链接：https://sebastianraschka.com/books/ml-q-and-ai/#table-of-contents
• GitHub 地址：https://github.com/rasbt/MachineLearning-QandAI-book

#SuperCLUE推理榜惊现黑马

原来中兴是一家AI公司？

中兴通讯，这家数万人的科技大厂，凭借40年 ICT 技术积累正式进军 AI 赛道。

一家信息通信公司，居然拿到了 AI 推理竞赛的冠军，这事儿有点意思。

前段时间，中文大模型测评基准 SuperCLUE 发布了 2025 年 5 月报告。这份报告评估了来自 OpenAI、谷歌、DeepSeek、字节跳动等多家国内外 AI 公司的大模型，并发布了多个榜单。报告显示，虽然海外模型在综合能力上占优，但国内模型在推理任务中表现亮眼，Doubao-1.5-thinking-pro-250415 与星云大模型 NebulaCoder-V6 以推理总分 67.4 并列第一。

SuperCLUE 推理榜单深度聚焦模型的逻辑思维与问题解决能力，涵盖数学推理、科学推理、代码生成三大硬核维度。

作为专业赛道的选手，Doubao 的表现并不让人意外。但是，星云大模型 NebulaCoder-V6 着实算得上一匹黑马，因为它来自一家老牌信息通信公司 —— 中兴通讯。而且，除了拿下推理榜单第一，它在综合总榜中也表现不俗 —— 与 DeepSeek-R1 并列第二，拿到了银牌。

这样的成绩让外界对中兴这家公司产生了好奇 —— 毕竟在大多数人的认知里，大模型竞赛是互联网公司和 AI 实验室、创业公司的主场（上榜的模型也大多出自这类机构）。一个常年和基站、交换机打交道的 ICT 厂商，突然在需要抽象思维和逻辑链条的 AI 推理任务中拔得头筹，确实带来了意料之外的「跨界」惊喜。

那么，中兴为什么要这么做？为什么可以做那么好？为了弄清楚这些问题，xx和中兴通讯的首席战略与生态专家屠嘉顺、星云大模型总工程师韩炳涛、研究员吴琦聊了聊，了解到了通讯与 AI 行业的紧密联系以及星云大模型背后的核心技术，也对中兴这家成立 40 年的科技公司的下一站有了新的认识。

中兴通讯，为何重仓押注 AI？   

在今年 3 月份的 GTC 大会上，英伟达 CEO 黄仁勋曾预言说，「AI 可以彻底改变通信」。

屠嘉顺告诉我们，其实这种改变现在就在发生。以基站为例，现在的 4G、5G 基站相比前几年增加了很多，但运维人员数量的增幅却没有那么大。这背后的核心原因是，现在的通信网络大量采用自动化技术，形成了所谓的「自治网络」，大大减少了对运维人员的需求。

在即将到来的 6G 时代，这种变革会更加明显。英伟达高级副总裁 Ronnie Vasishta 在一次简报会上提到，「6G 的倒计时已经开始。基础研究已经将注意力转向下一代无线通信。下一代网络将是 AI 原生的 ——AI 将嵌入硬件和软件中…… 下一代无线网络需要连接数千亿台智能设备，这将需要 AI 的支持」。

屠嘉顺同意这种「6G 将是 AI 原生」的说法。他认为，6G 网络会从设计之初就将 AI 作为其核心组成部分，AI 将贯穿于网络的架构、协议、功能等各个方面。

正是因为看到了这一颠覆性趋势的可能性，中兴很早就在 AI 方向做前瞻性布局。在内部，他们成立了多个 AI 相关团队以及星云大语言模型、电信行业大模型这样的大型基础研究团队，并把智算等 AI 相关的方向作为重要的战略方向，涵盖 AI 基础设施、AI 数据中心、上层行业应用智能体等多个方面。前段时间，他们开发的 Co-Sight 智能体还登上了 GAIA 基准测试的榜首。

其实，除了为未来做准备，当前的中兴也已经与 AI 深度绑定。无论是网络侧、算力侧还是终端侧，中兴都有相关的业务布局。这些业务都需要进行 AI 技术迭代。

而且作为一家科技公司，中兴内部也有用 AI 提高研发效率的需求，比如代码自动化。他们研发的星云大模型在其中发挥了重要作用。目前，在内部应用中，星云大模型每天产生 15 亿 token，合成的代码量已经达到几千万行，公司的 AI 代码占比已经达到了 30%。

从这些维度来看，中兴早已突破大众对 ICT 厂商的固有认知，实质上是以 AI 为核心引擎的科技企业，其发展轨迹正朝着 AI 领域加速演进。

星云大模型，何以夺冠？    

此次星云大模型在 SuperCLUE 推理榜单夺冠，离不开技术团队设计的大模型高效训练优化方案。从预训练到监督微调再到强化学习，他们试图在每一步都激发出模型极致的推理能力。

预训练：高效构建知识图谱，帮大模型打好基础

预训练阶段的核心目标是提升模型的平均表现，类似于人类学生时代的通识教育。

在这一阶段，数据非常重要。但是原始的预训练数据存在的知识缺失和知识错误的问题，是模型产生知识类幻觉的重要原因。

针对这些问题，研究人员设计出了一套高效的知识图谱构建方法，帮助大模型迅速形成准确度极高的知识结构。

具体来说，他们提出了一个名叫领域共享属性和自校验的图谱知识注入框架 「DASER」（Domain-Aware Self-validating Entity Representation），该框架能够准确识别预训练文本中的缺失知识和错误知识，再利用搜索引擎从互联网在线检索，补全缺失和更正错误知识，提升模型的知识性能力，让模型「看得多」，又「学得准」，更「懂得深」。

什么叫「领域共享属性」？研究人员举了个例子，假如在现成的预训练语料中，火星的知识非常丰富，但木星的数据残缺不全，用传统的预训练数据直接训练必然会缺失大量的木星知识，从而导致模型幻觉。DASER 的创新之处在于使用了同一领域内知识的共享规律 —— 比如行星都具有公转周期、自转周期等共同属性。因此在构建木星知识图谱时，它会根据之前所识别到的行星公共属性去自动填充可复用的属性，并通过网络检索进行缺失数据填充。

借助这一方法，星云大模型团队构建了覆盖国家基础学科分类体系的全学科知识图谱。模型训练效率、推理准确性均显著提升，在中兴构建的高难度私域知识类 QA Bench 上，准确率指标由 61.93% 增长至 66.48%。

监督微调：批判学习 + 数据飞轮，让模型理解复杂指令

监督微调（SFT）阶段的目的是将预训练模型拥有的通用潜力转化为特定领域的专业能力，让模型理解并执行复杂指令，这个过程类似于人类的高等教育或职业培训。

研究人员介绍说，这一阶段的数据通常有两类：第一类是标准的 QA「问题 - 正确答案」对，用于直接训练模型模仿正确响应；第二类是思维链数据，即在答案中显式包含推理步骤，引导模型分步解决问题。

更进一步，还可以使用批判学习（Critique Learning, CL）基于难样本生成特定形式的思维链数据，让模型对错误答案进行批判并验证，从而构建一个持续优化模型推理与批判能力的「批判 - 推理」数据飞轮。

在训练模型的过程中，他们发现批判学习数据效果更为显著。其原理在于：模型如同人脑，对「异常」（如错误答案）高度敏感。发现错误并提出批判的过程，比单纯接受标准答案更能深化模型的理解。

因此，研究人员在 SFT 中引入了批判学习（CL）及成对批判学习（PCL）算法。PCL 的关键流程是：

针对困难样本，模型给出初始（错误）回答。

模型对错误回答进行批判。

基于批判信息，模型生成修正后的回答。

利用规则方法验证最终答案的正确性。

上述流程将产生 {任务描述，错误回答，批判信息，正确回答} 的四元组训练样本。进一步的，他们发现在模型训练中使用从四元组中抽取 {任务描述，错误回答，批判信息} 三元组，而非直接使用四元组，训练效果会更好。

相较于使用纯思维链类数据的 SFT，引入额外 CL/PCL 数据的批判 CFT（Critique Fine-Turing）方法在数学、代码等多项推理中准确率明显上升。

除此之外，为了让模型在遇到用户复杂指令时也能准确理解并执行。需要让模型看到更多高质量指令数据。为了得到这些数据，他们构造了一个数据飞轮。如下图所示，整个飞轮分为四个模块，其中很多工作可以借助模型来自动完成，比如场景挖掘、候选答案生成。在其中一个关键模块 —— 模型校验中，他们也用到了批判学习。他们借助这种方式获得的数据反哺训练集，迭代地帮模型提高意图理解能力。

强化学习：双阶段强化学习，提升回答精度与严谨度

强化学习阶段的目的是通过环境反馈（奖励信号）进一步优化模型的行为策略，使其能够解决更复杂的现实世界问题，类似于人类的职场实战。

在这一阶段，星云大模型团队主要关心两个问题：如何提高大模型解决复杂问题的准确率和逻辑严谨性。

为此，他们提出了双阶段强化学习，即「先整体纠错→再局部精修」。

在纠错阶段，他们引入了「批判性强化学习（CRL）」，选取 STEM 领域的高难度问题进行专项训练，迭代提升模型回答高难度问题的准确度。

在精修阶段，研究人员发现使用强化学习会导致回答多样性下降。拿代码生成举例，模型可能有多种正确的实现方式， 如果某一种方式因为细微的错误被视为负样本，模型可能会「误以为」这种方法本身是错误的，从而在未来避免使用。这会导致模型生成的答案多样性下降，甚至在海量强化数据优化后无法提供解决方案，从能力「涌现」到能力「崩塌」。

为了解决这个问题，他们首先在数据层面，将模型回答错误的样本，通过一个离线的拒绝采样过程，获取「最小修改」纠错样本。再改进传统强化学习算法，单独计算每个 Token 的回报值。这种「更细粒度」的强化学习算法，使模型无论是模型回答还是思维链条都更合理，幻觉明显下降，人类偏好打分提升 13%。

从 ICT 到 AI 的无缝切换

当 40 年的 ICT 巨头闯入 AI 战场，等待他们的是「跨界」阵痛，还是无缝切换？答案可能是后者。

这是因为，AI 和 ICT 看似「跨界」，实际有很多相似之处，比如它们的核心都在于数据的处理、交换和存储；都是复杂超大系统的高效协同。

具体来说，ICT 涉及多个网元组成的庞大网络，AI 需要芯片、服务器、存储、交换和数据中心组成高效绿色的基座。这些系统不仅需要达到局部最优，还要放在一起进行全局优化。这要求具备全栈的技术积累、工程实践和系统优化能力，而这恰恰是中兴所擅长的，也是他们在未来重要的战略方向 ——「智算」中所要强化的。

除此之外，在 AI 这个方向上，中兴也有自己独特的优势。

我们知道，AI 的发展是一个跨多学科的复杂工程科学，它的创新进程离不开大量工程实践经验，比如参数调优、算子融合、算法优化…… 其涉及领域之广，技术门槛之高已经让一些早期入局的企业感觉吃力。

而从中兴身上，我们能够看到一些走 AI 长期路线的潜质。具体来说，和芯片厂家相比，他们有整体的系统工程能力；和做通算的纯 IT 类厂家相比，他们的组网能力更强；和纯做大模型的厂家相比，他们的硬件能力又更强。所以综合来看，中兴其实更容易拉起整个产业链，无论是硬件开发、软件平台、大模型还是行业应用，他们在原来的领域都已经有所涉及。

而且，中兴也有巨大的产品生态支撑，这些产品目前正在「AI 化」。如果未来全部 AI 化，市场空间巨大，也能让技术在丰富的场景中快速迭代，形成数据反哺。

当传统 ICT 巨头全力拥抱 AI，这场转型会给行业带来怎样的化学反应？答案或许就在中兴接下来的每一步里。

#DDO(Direct Discriminative Optimizatio)

清华朱军组&NVIDIA提出DDO：扩散/自回归模型训练新范式，刷新图像生成SOTA

文章一作郑凯文为清华大学三年级博士生，研究方向为深度生成模型，曾提出流式扩散模型最大似然估计改进技术 i-DODE，扩散模型高效采样器 DPM-Solver-v3，扩散桥模型采样器 DBIM 以及掩码式离散扩散模型采样器 FHS 等。

清华大学朱军教授团队与 NVIDIA Deep Imagination 研究组联合提出一种全新的视觉生成模型优化范式 —— 直接判别优化（DDO）。该方法将基于似然的生成模型（如扩散模型、自回归模型）隐式参数化为 GAN，从而设计出一种无需额外网络、训练高效的微调方法，并大幅突破传统最大似然训练的性能瓶颈。

论文标题：Direct Discriminative Optimization: Your Likelihood-Based Visual Generative Model is Secretly a GAN Discriminator

论文链接：https://arxiv.org/abs/2503.01103

代码仓库：https://github.com/NVlabs/DDO

背景 | 基于似然的生成模型

近年来，扩散模型（Diffusion Models）和自回归模型（Autoregressive Models）在图像生成中占据主导地位，如 NVIDIA 的 EDM 系列扩散模型和字节跳动以 VAR 为代表的视觉自回归模型。相比 GAN（Generative Adversarial Networks）这类直接优化数据生成过程的隐式生成模型，扩散模型和自回归模型均属于基于似然的生成模型（Likelihood-Based Generative Model），它们显式估计数据的对数似然（log-likelihood），具有训练稳定、样本多样性强、容易规模化的特点。

然而，这类模型广泛采用的最大似然估计（Maximum Likelihood Estimation, MLE）训练损失对应的是正向 KL 散度，会导致「mode covering」问题：模型倾向于覆盖所有数据模式而非聚焦主要分布，并且会在低估数据集中任何样本的似然时遭受严厉惩罚，从而使生成结果模糊或失真，在模型容量不足时限制了生成质量。例如，i-DODE 作为专注于似然的模型，虽然在密度估计任务上达到了最先进水平，但在 FID 等视觉质量指标下表现不佳。现有视觉生成模型也往往依赖引导（guidance）方法，如无需分类器的引导（Classifier-Free Guidance, CFG），来抑制低质量生成样本。

方法 | 把生成模型当判别器用，直接优化

为解决 MLE 的局限性，文章考虑使用 GAN 式判别的思想，在训练目标中引入反向 KL 散度的成分，强化模型在真实数据附近的密度，同时抑制错误区域，将模型分布由图（a）：强调密度覆盖，微调为图（b）：强调密度集中，从而提高生成保真度与有限模型容量下的生成质量。然而，直接使用 GAN 损失会引入额外的判别器网络与工程优化上的复杂性，尤其对于扩散/自回归模型这类需要迭代式多步生成的模型。

DDO 首次提出：你训练的似然生成模型，其实已经是一个「隐式判别器」。

具体来说，DDO 引入待微调的目标模型和一个冻结的参考模型（均初始化为预训练模型），使用两个模型的对数似然比构造「隐式判别器」，得到可直接应用于扩散模型和自回归模型的 GAN 式优化目标：

其中为模型对数似然，对于自回归模型由于因果掩码的存在可以通过单次网络前传准确计算，而对于扩散模型则需要结合 Jensen 不等式与证据下界（ELBO）近似估计。使用此训练目标微调时，真实数据来自原数据集，而假数据来自参考模型

的自采样过程。根据 GAN 判别损失的性质，可以证明此目标下的最优模型分布

恰为真实数据分布。

在实际训练时，可通过多轮自对弈（self-play）进一步提升性能，做法是将下一轮的参考模型

设置为上一轮表现最优的模型。

DDO 为扩散模型和自回归模型提供了即插即用的新训练目标，其微调后的模型和原模型具有完全相同的网络结构和采样方式，而在生成质量上大大增强。

实验 | 无需引导，刷新多项 SOTA

DDO 在多个标准图像生成任务中显著提升已有模型的生成质量，并刷新现有 SOTA。

• ImageNet 512×512 无引导 FID 1.96 → 1.26。
• ImageNet 64×64 无引导 FID 1.58 → 0.97。
• CIFAR-10 无引导 FID 1.85 → 1.30。

ImageNet 512x512 生成结果。左：原模型 右：DDO 微调后的模型

肉眼观察发现生成图像的细节和真实度得到显著提升，同时多样性没有受到负面影响。

DDO 用于扩散模型时，随着多轮 self-play，FID 指标发生持续下降。

更重要的是，DDO 无需修改网络结构、不增加推理成本，且与主流 CFG 等引导方法兼容，可叠加使用进一步提升性能。如在视觉自回归模型 VAR 上，微调后的模型通过控制 CFG 的强度，得到的 FID-IS 曲线整体显著优于原模型。

展望 | 从视觉生成到语言模型对齐

DDO 参数化的灵感来自于语言模型中的直接偏好优化（DPO, Direct Preference Optimization），但其目标从「成对的偏好对齐」扩展到了「分布对齐」，更为通用。DDO 虽然没有「奖励」的概念，但其中使用自生成样本作为负例的思想也与大语言模型中流行的 RL 算法如 GRPO 具有相似性，这允许模型从错误中反思学习。也就是说，GRPO 中负例的作用同样可以解释为使用 reverse KL 散度抑制 mode covering 趋势从而提升生成质量，这在数学推理等任务中具有重要意义。该思路有望扩展至多模态生成等任务，构建统一的对齐范式。

#DeepSeek-R2 「难产」原因曝光

全网翘首以盼的DeepSeek-R2，再次被曝推迟！

据The Information报道，由于DeepSeek CEO梁文锋始终对R2的表现不满意，因此R2迟迟未能发布。

此外，他们还援引两位国内知情人士的消息称，R2研发进程缓慢可能是由于缺少英伟达H20芯片。

要知道R1的训练总计耗费了3万块H20（国内特供版）、1万块H800和1万块H100。

所以在H20吃紧的情况下，预计耗费更多算力资源的R2难免受到波及。

事实上，这不是R2第一次被曝项目延期了，最早能追溯到今年4月——

一览R2“难产”始末

仔细一梳理，原来人们对R2的期待，早在V3新版本出来后就开始了。

去年12月底，DeepSeek发布了至今被视为“性价比代表”的DeepSeek-V3模型。到了今年3月24日，官方发布公告称对V3进行了一次升级，新版本代号为V3-0324。

虽然官方轻描淡写只说是“小版本升级”，但很多人实测下来可一点也不小。

于是人们开始推测，在V3-0324已经取得明显进步的情况下，是不是可以用它来训练R2模型。

这里需要补充一下，DeepSeek主打推理的R1模型，正是在DeepSeek-V3-Base的基础上，结合冷启动数据和多阶段训练流程构建的。

所以说，V3更新了，R2还会远吗？

并且结合R1是在初代V3一个月之后发布，当时人们按照这一节奏预测——

R2大概率将在4月上线。（网友os：3月发布V3-0324，4月上R2，完美~）

刚进入4月，DeepSeek就发了一篇于推理时Scaling Law的论文，引得大家纷纷联想是不是R2马上要来了。

论文题目为《Inference-Time Scaling for Generalist Reward Modeling》，由DeepSeek和清华大学共同提出。

他们核心提出了一种叫做SPCT（Self-Principled Critique Tuning）的方法——

首次提出通过在线强化学习（RL）优化原则和批判生成，实现推理时扩展。

之所以要做这么一项研究，是因为之前大家用奖励模型（Reward Model, RM）在RL中为大语言模型生成奖励信号。但现有的RM在通用领域却表现出受限的情况，尤其是在面对复杂、多样化任务的时候。

不过论文发布后，中间一直没啥动静。

直到4月底，坊间开始疯传一组R2的泄露参数：1.2T万亿参数，5.2PB训练数据，高效利用华为芯片……一整个真假难辨。

时间不知不觉就进入了5月，R2依旧没有丝毫官方消息。

5月中旬，DeepSeek发布了一篇有梁文锋亲自署名的论文。

这一次，团队把DeepSeek-V3在训练和推理过程中，如何解决“硬件瓶颈”的方法公布了出来。

后来又在月末端午节前，官方上线了新版R1——DeepSeek-R1-0528。

看名字你可能以为是个小版本更新，但实际上它在LiveCodeBench上几乎与OpenAI o3-high相当。

由于编程能力强悍，当时一众网友惊呼：讲真这其实就是R2吧！

但直到目前为止，R2依旧未能真正和大家见面。

网友反应亮了

BTW，就在The Information曝出延迟消息后，Reddit相关帖子下最高赞网友表示：

我相信延迟是值得的。

毕竟Llama 4 翻车在前，“没有人愿意成为下一个失误者”。

但与此同时，也有人合理推测，R2好歹要等V4出来再说。

理由是，从官方当前发布的论文和一些版本更新来看，V3可能已经到达极限了。

嗯，6月即将结束，谁说7月不值得期待呢（doge）。

参考链接：
[1]https://www.reddit.com/r/LocalLLaMA/comments/1ll6jo5/deepseek_r2_delayed/
[2]https://x.com/theinformation/status/1938337736622019044

#一亿美金种子轮，刷新硅谷xx智能融资记录

周衔、许臻佳、李旻辰等华人合伙创业

这家公司要把人类从体力劳动中解放出来。

前段时间，「隐身」许久的 Ilya Sutskever 罕见露面，还在多伦多大学做了个演讲。他在演讲中提到，终有一天，AI 会完成人类能够完成的所有工作。这将带来人类有史以来最大的挑战，但也蕴含着巨大的机遇。

这几年，AI 的进展有目共睹。不过，大家也常调侃说，「本来想让 AI 去扫地、做饭、带孩子，我去写诗、唱歌、陶冶情操，结果现在反过来了」。这一调侃揭示了一个尴尬的现状：AI 的「大脑」和「本体」进步速度不同步，只解锁了一些脑力劳动，体力劳动涉足非常有限。

这两年比较火的「xx智能」方向就是来解决这个问题的。不过，大家期待的具体智能界的「OpenAI」还没出现，也没有一个类似 Transformer 的通用技术架构。

最近，硅谷的一家新成立的名叫「Genesis AI」的公司吸引了我们的注意，他们在最近的种子轮融资中拿到了 1.05 亿美元。据外媒 TechCrunch  报道，这轮融资由美国顶级风投机构 Khosla Ventures、Eclipse 联合领投。前者是 OpenAI 的最早的机构投资者，后者是特斯拉产业背景团队机器人赛道的专业机构。

这应该是是硅谷xx智能赛道至今最大规模的种子轮融资，超过了此前该赛道明星创企 Physical Intelligence 的记录。同时参与投资的还有谷歌前董事长 Eric Schmidt、欧洲科技大亨 Xavier Niel、法国中央银行 BPI、红杉中国等。

「Genesis」这个名字是不是听起来有点耳熟？没错，它和知名xx智能项目、GitHub 25k star 量的 Genesis 一脉相承。「Genesis」是一个生成式物理引擎，由 CMU 联合 20 多所研究实验室历时两年联合开发，能够生成 4D 动态世界、模拟广泛的材料和物理现象，专为通用机器人、xx AI 和物理 AI 应用而设计。

该项目效果惊艳，当时引发了不小的轰动，很多人从它身上看到了xx智能的未来（参见《历时 2 年，华人团队力作，震撼开源生成式物理引擎 Genesis，可模拟世界万物》）。与此同时，它也成为了近几年xx智能最受瞩目的项目之一。而且 Genesis 社区也已成为机器人仿真领域最大的开源社区。

Genesis 生成的物理世界。提示：手持棍棒的迷你版悟空在桌面上飞奔 3 秒，然后跳到空中，落地时右臂向下摆动。镜头从他的脸部特写开始，然后稳定地跟随角色，同时逐渐缩小。当悟空跳到空中时，在跳跃的最高点，动作暂停几秒钟。镜头围绕角色 360 度旋转，然后缓慢上升，然后继续动作。

项目核心成员此次集体投身创业，自然引发了外界广泛关注。在拿到如此充足的资金之后，这个团队具体打算做什么？以下是我们了解到的关于该公司的信息。

Genesis AI：刷新硅谷xx智能融资记录的团队

Genesis AI 的创始团队由来自 Mistral AI、英伟达、谷歌、苹果、CMU、MIT、斯坦福、哥伦比亚大学和马里兰大学的顶尖学术和工业界技术人才组成，在物理模拟、图形学、机器人技术和大规模 AI 模型训练与部署方面拥有深厚积累。

与xx领域常见的由资深教授主导研发带队创业的模式不同，这是一支由刚毕业的年轻博士组成的全明星阵容。他们均来自不同的顶尖研究机构，是 AI 及机器人领域最活跃的科研新锐。

创始人及 CEO 周衔。周衔去年底刚从卡内基梅隆大学毕业并获得机器人学博士。他本科毕业于南洋理工大学，主导了登上 Science Robotics 杂志的组装宜家家居的机器人研究。他博士期间的研究方向涵盖世界模型，模仿学习，强化学习。他提出了生成式仿真的新范式，并在学界发起并领导了 Genesis 的开源项目。

联合创始人 Théophile Gervet，博士毕业于 CMU，Mistral 早期创始团队成员和多模态模型负责人。他主导研发了 Mistral 第一个多模态大模型 Pixtral 12B，用 Llama-3.2 90B 七分之一的模型大小实现 7 倍性能的超越。他还主导了 Mixtral 8x7B 的开发，成功实现了 GPT-3.5 及 Llama 2 70B 级别模型的性能，并显著降低了推理速度和成本。此外，在加入 Mistral 之前，Theo 也是 Skild AI 的创始成员之一。

公司官网列举出的联创中，也有不少我们熟悉的华人面孔：

许臻佳，此前备受关注的斯坦福刷盘子机器人 UMI 项目还有目前最流行的机器人网络架构 Diffusion Policy 的共同一作。他于 2024 年从哥伦比亚大学 / 斯坦福大学博士毕业，师从 Shuran Song。

他此前在英伟达 GEAR（Generalist Embodied Agent Research）团队领导 GR00T 项目的机器人数据收集和真机系统工作，并多次获得 RSS、CoRL 等机器人顶会最佳论文及提名。

王尊玄，今年刚从 MIT CSAIL 博士毕业，师从机器人领域大牛、麦克阿瑟「天才」奖得主、MIT 人工智能实验室主任 Daniela Rus。他的研究领域横跨数据、大脑和本体，这也是xx智能的几个核心技术方向。在此之前，他曾在大模型公司 Liquid AI 负责基础模型架构的研发。

乔怿凌，马里兰大学博士，师从图形学泰斗 Ming C.Lin 和机器人学泰斗 Dinesh Manocha。他是 Meta 奖学金获得者，在图形学、可微物理仿真方向做出多项横跨刚体 / 流体 / 柔性材料的开创性工作。

宋运龙，无人机强化学习竞速领域开拓者以及高性能仿真工具 Flightmare 的主要开发者，苏黎世大学博士，师从机器⼈学泰⽃ Davide Scaramuzza。

他曾通过强化学习算法战胜人类世界冠军，相关成果登上 Science Robotics 杂志封面。

李旻辰，卡内基梅隆大学图形学方向助理教授，宾夕法尼亚大学博士，曾获 SIGGRAPH2021 年度杰出博士论文奖。此外，他还是目前图形学领域非常有影响力的求解复杂 contact 模型的算法 IPC 的发明人。

这支年轻团队的背后集结了过去几年xx领域多项重要技术成果，横跨真机数采、模仿学习、强化学习和物理仿真，这也是华人主导的创业团队在硅谷历史上完成的最大的种子轮融资。

除了学界新锐外，Genesis AI 披露的早期创始团队成员还包括多位工程界的大牛，包括 H Company 多模态模型负责人 Antoine d’Andigne、苹果 Apple Intelligence 多模态模型负责人、谷歌工程总监 Rachid El Guerrab、英伟达 GVDB 架构师 Rama Hoetzlein、原版 Pytorch 和多个开源 GPU 编译器框架（VeriGPU/DeepCL/Coriander）创作者 Hugh Perkins、以及 Roblox 首席工程师 Hongyi Yu 等。

拿到 1 亿美元之后，Genesis AI 打算做什么？

拿到如此丰厚的融资之后，Genesis AI 打算做什么呢？据了解，他们的目标是打造一个极高人才密度的创新组织，实现最强的物理智能，并在未来实现体力劳动的自动化。

要实现这一目标，Genesis 首先要解决的是物理智能领域普遍存在的「数据魔咒」问题。

为此，他们正在打造一个可扩展的通用数据引擎，把高精度物理模拟、多模态生成式 AI 和大规模真实机器人数据整合在一起。

他们并不押注在任意一条单一的技术路线，而是希望在各个通向机器人基础模型的技术模块上都实现世界级的突破，并成为首个真正实现仿真与现实数据闭环（closed-loop）的团队。

他们的仿真系统完全自主研发，能大规模生成高质量的合成数据，同时配合更高效、可扩展的真实世界数据采集系统。这种「合成数据 + 真实数据」的双引擎模式，打破了传统的数据壁垒，能够收集大规模、多样性的高质量数据，用于训练机器人基础模型。

物理智能基础模型是 AI 领域的 next big thing，最强物理智能对世界和产业的影响更加深远和颠覆性。

在 DeepSeek 之后，我们也期待能够出现一家华人主导的年轻科学家团队，成为物理智能领域的 OpenAI，有机会真正的做到世界级的「引领」。

不过，该公司目前的具体产品信息仍较少。我们了解到，他们的下一个 milestone 可能将于今年年底发布。至于它是否足够惊艳，我们拭目以待。

#Cursor挖走Claude Code两位核心人物

从亲密伙伴抢人

AI 行业的挖人大戏仍在继续上演。

据 The Information 报道，Anthropic Claude Code 的两位负责人被 AI 编程应用 Cursor 的开发商 Anysphere 挖走了。

考虑到 Cursor 对 Anthropic 的 AI 依赖程度 ——Cursor 是 Anthropic 最大的客户之一，这种从合作伙伴抢人的做法可谓是相当大胆。至少，这可能会让这两家公司的关系变得更加复杂。

具体来说，Anysphere 从 Anthropic 挖走了 Boris Cherny 和 Cat Wu 两位主管级人物。

其中，Boris Cherny 是 Claude Code 项目的开发负责人，可以说是 Claude Code 技术的灵魂人物，将加入 Anysphere 担任首席架构师和工程主管。Cat Wu 则是 Claude Code 产品经理，在 Anysphere 的新职务是产品主管。

Boris Cherny 和 Cat Wu，在此访谈节目中，Cherny 表示 Anthropic 公司 80% 的代码都是 Claude 写的。图源：Latent Space

Cherny 表示，这两位新加入 Cursor 的员工将致力于开发「类智能体」功能（指自动执行涉及多个步骤的复杂编程任务）以及其他产品。

不过，今天对 Anthropic 也不算是完全糟糕的一天。同样据 The Information 报道，Anthropic 的年收入已达到 40 亿美元，即每月 3.33 亿美元，较年初数值增长近四倍。现目前，Anthropic 的估值已经达到 615 亿美元。

许多开发者和工程师都认为，Anthropic 开发的 Claude 系列模型是最好的编程模型，Cursor 等 AI 开发工具普遍整合了该系列模型。Anysphere 联合创始人、首席产品官 Sualeh Asif 曾在一份声明中称 Anthropic 是「我们最亲密的合作伙伴之一」，并表示其技术为 Cursor 的大部分业务提供了支持。

或许正是得益于 Anthropic 优秀的 AI 模型，加上 Cursor 不断优化的交互体验，让 Cursor 本身业务增长强劲，前两天甚至开始支持网页和移动端开发。

，时长00:10

Anysphere 上个月表示，其年度经常性收入已超过 5 亿美元，即每月收入 4200 万美元。而在 3 月份的时候，Anysphere 的年度经常性收入为 2 亿美元 —— 短短 3 个月就翻了一倍多。现目前，Anysphere 的估值为 99 亿美元，较去年 12 月的 26 亿美元增长显著。

今年 2 月，Anthropic 推出了自家的 AI 编程产品 Claude Code 并广受欢迎，而 OpenAI、谷歌 DeepMind、亚马逊等也在纷纷入局，让 AI 编程市场竞争陡然加剧。

这一次，Anysphere 直接挖走 Claude Code 两位核心人物，不知道又是否会给这个风起云涌的市场带来新的变数？让我们拭目以待吧。

参考链接

​​https://www.theinformation.com/articles/anthropic-revenue-hits-4-billion-annual-pace-competition-cursor-intensifies​​

​​https://x.com/cursor_ai​​

​​https://www.youtube.com/watch?v=Yf_1w00qIKc​​​

#大模型时代，通用视觉模型将何去何从？

过去几年，通用视觉模型（Vision Generalist Model，简称 VGM）曾是计算机视觉领域的研究热点。它们试图构建统一的架构，能够处理图像、点云、视频等多种视觉模态输入，以及分类、检测、分割等多样的下游任务，向着「视觉模型大一统」的目标迈进。

然而，随着大语言模型 LLM 的迅猛发展，研究热点已经悄然发生转移。如今，多模态大模型兴起，视觉被看作是语言模型众多输入模态中的一种，视觉模态数据被离散化为 Token，与文本一起被统一建模，视觉的「独立性」正在被重新定义。

在这种趋势下，传统意义上以视觉任务为核心、以视觉范式为驱动的通用视觉模型研究，似乎正在逐渐被边缘化。然而，我们认为视觉领域仍应保有自己的特色和研究重点。与语言数据相比，视觉数据具有结构化强、空间信息丰富等天然优势，但也存在视觉模态间差异大、难替代的挑战。例如：如何统一处理 2D 图像、3D 点云和视频流等异质输入？如何设计统一的输出表示来同时支持像素级分割和目标检测等不同任务？这些问题在当前的多模态范式中并未被充分解决。

正因如此，在这个多模态模型席卷科研与工业的新时代，回顾并总结纯视觉范式下的通用视觉模型研究仍然是一件十分有意义的事情。清华大学自动化系鲁继文团队最近发表于 IJCV 的综述论文系统梳理了该方向的研究进展，涵盖输入统一方法、任务通用策略、模型框架设计、模型评测应用等内容，希望能为未来视觉模型的发展提供参考与启发。

• 论文标题：Vision Generalist Model: A Survey
• 论文链接：https://arxiv.org/abs/2506.09954

VGM 到底解决了什么问题？

通用视觉模型是一种能够处理多种视觉任务和模态输入的模型框架。类似于大语言模型在自然语言处理中的成功，VGM 旨在通过构建一个统一的架构来解决各种计算机视觉任务。传统的视觉模型通常针对特定任务（如图像分类、目标检测、语义分割等）设计，而 VGM 通过广泛的预训练和共享表示，能够在不同的视觉任务之间实现零样本（Zero-shot）迁移，从而无需为每个任务进行专门的调整。

VGM 的关键能力之一是其多模态输入的统一处理能力。不同于传统模型只处理单一类型的视觉数据，VGM 能够同时处理来自多个模态的数据，如图像、点云、视频等，并通过统一的表示方法将它们映射到共享的特征空间。

此外，VGM 还具备强大的多任务学习能力，能够在同一个模型中处理多个视觉任务，从图像识别到视频分析，所有任务都可以在一个通用框架下并行处理。

综述涵盖了哪些核心内容？

数据 + 任务 + 评测：为通用建模打基础

VGM 通常使用大规模、多样化的数据集进行训练和评估。为了支持多模态学习，VGM 使用的训练数据集涵盖了图像、视频、点云等多种类型，本综述列举并介绍了一些常见的多模态数据集。

任务方面，本综述将视觉任务分为四类：图像任务、几何任务、时间序列任务以及其他视觉相关任务。评测方面，主要通过多个综合基准来衡量其在多种任务和数据集上的表现。与传统的单一任务评测不同，现代评测方法更注重模型的跨任务泛化和多模态处理能力。本综述也对现有通用视觉模型的评测基准做了充分的调研与总结。

模型设计范式与技术补充

现有通用视觉模型的设计范式主要集中在如何统一处理不同视觉模态输入和多样化任务输出，大致可以分为两种类型：编码式框架和序列到序列框架。

编码式框架（Encoding-based Framework）旨在通过构建一个共享的特征空间来统一不同的输入模态，并使用 Transformer 等模型进行编码。这类框架通常包括领域特定的编码器来处理不同类型的数据，如图像、文本和音频，然后通过共享的 Transformer 结构进行进一步处理，最终生成统一的输出。

而序列到序列框架（Sequence-to-Sequence Framework）则借鉴了自然语言处理中的序列建模方法，将输入数据转换为固定长度的表示，然后通过解码器生成相应的输出。这些框架特别适合处理具有可变长度输入输出的任务，如图像生成和视频分析。

尽管有一些工作并不能被定义为通用视觉模型，但它们在联合多模态数据输入、模型架构设计、协同处理多任务输出等方面做出了卓越的技术贡献。本综述也对这些技术进行了详尽的讨论分析。一些相关领域的内容，如多任务学习、视觉-语言学习、开放词汇，也被用来扩充通用视觉模型领域的知识边界。

此外，作为一个 case study，本综述对比了收录了多个主流 VGM 模型在 22 个基准数据集上的评测结果：

VGM 的未来在哪里？

最后，本综述总结了 VGM 的当前研究进展和面临的挑战，还强调了其在实际应用中的潜力和未来发展方向。

现有 VGM 在多个任务和多模态输入的统一处理方面已经取得了显著的进展，但仍面临着如何优化统一框架设计、提高训练效率和应对大规模数据等挑战。数据获取和标注仍然是 VGM 发展的瓶颈。

为了解决这一问题，自动化标注技术以及大规模无监督学习方法的研究将成为未来的研究重点。然而，随着模型规模的扩大，VGM 也面临着伦理问题和偏见的挑战。大量未标注的数据中可能包含潜在的偏见，如何确保模型的公平性、透明性和安全性，仍是未来研究中的重要课题。

尽管如此，现有的 VGM 在实际应用中展示了广泛的潜力。它不仅可以用于传统的视觉任务，如图像分类、目标检测和语义分割，还能扩展到更复杂的多模态任务，如视觉问答、图像-文本检索、视频理解等。这些应用涵盖了智能监控、自动驾驶、机器人等多个领域，推动了 VGM 在实际场景中的广泛部署。

希望这篇文章能给研究中的你一些启发。

#GENERALIST REWARD MODELS

周志华团队新作：LLM中存在奖励模型，首次理论证明RL对LLM有效性

将大语言模型（LLMs）与复杂的人类价值观对齐，仍然是 AI 面临的一个核心挑战。当前主要的方法是基于人类反馈的强化学习（RLHF）。该流程依赖于一个通过人类偏好训练的奖励模型来对模型输出进行评分，最终对齐后的 LLM 的质量在根本上取决于该奖励模型的质量。

因此，创建一个先进的奖励模型需要建立庞大且高质量的人类偏好数据集，而这一过程通常既缓慢、昂贵，又难以扩展。 

这种对人类标注数据的依赖促使研究者探索其他对齐方法。一个重要的研究方向是基于 AI 反馈的强化学习（RLAIF）。该方法利用强大的专有大语言模型生成奖励信号或偏好标签，从而规避人类标注需求。虽然成本效益显著，但这些方法缺乏严谨的理论基础，且容易继承评判模型本身的风格偏差与固有偏见。这引发了一个关键问题：高质量奖励信号是否必须依赖外部来源？

来自南京大学的研究者发现，一个强大的通用奖励模型并非需要构建，而是可以挖掘出来的， 因为它已经潜在地存在于通过标准的下一个 Token 预测训练的任何语言模型中，称之为「内源性奖励（endogenous reward）」。

本文的核心贡献是为这一观点提供严格的理论基础。本文证明了可以从标准的下一个 Token 预测目标中恢复出一种特定形式的离线逆强化学习（IRL）奖励函数，该目标用于预训练和监督微调（SFT）。这一见解能够超越启发式方法，并建立一种原则性的方法，来引出语言模型在训练过程中隐式学习到的奖励函数。

具体来说，本文展示了语言模型的 logits 可以直接解释为 soft Q 函数，通过逆 soft 贝尔曼算子可以从中恢复出奖励函数。 

至关重要的是，这一理论联系不仅仅提供了一种奖励提取的方法。本文还证明了，使用模型自身的内源性奖励进行微调可以使策略在误差界限上优于基线模型。强化学习过程有效地修正了标准模仿学习（即下一个 Token 预测）中的累积误差，将性能差距从任务视野的二次依赖关系 O (H²) 降低到优越的线性关系 O (H)。

据了解，这是首次理论证明强化学习在 LLM 中的有效性。广泛实验验证了这一理论，表明这种内源性奖励不仅优于现有的 LLM-as-a-judge 方法，而且可以超越那些通过昂贵的人类标注数据显式训练的奖励模型的表现。

论文标题： GENERALIST REWARD MODELS: FOUND INSIDE LARGE LANGUAGE MODELS 

论文链接：https://arxiv.org/pdf/2506.23235

这篇论文提出了解决 LLM 的对齐问题，通过利用模型内部的奖励机制，而不是依赖外部的人类反馈，这可能会改变未来 LLMs 的开发和应用方式。

本文在实验中旨在评估以下核心问题：

Q1：在与启发式基线方法和显式训练的最新奖励模型对比时，免训练内源性奖励模型（EndoRM）在常见奖励模型基准测试中的表现如何？

Q2：内源性奖励是否具备强大的指令遵循能力，能否作为可通过提示词调用的通用奖励模型？

Q3：基于内源性奖励的强化学习能否产生更优策略，实现理论预测的自我改进效果？

多样偏好对上的奖励准确率（Q1）

为回答 Q1，本研究通过预测 RM-Bench 中被选中的回复来评估奖励模型性能。更高的准确率意味着奖励质量更优。

由于本评估的方法无需训练，因此本评估将其与其他无需训练的方法进行对比：生成式验证器（Generative Verifier）、GenRM-Pairwise 和 GenRM-Pointwise 。

所有基线方法及本评估的 EndoRM 均采用 Qwen2.5-7B-Instruct 作为基础模型以确保公平比较。此外，本评估还列出了四个显式训练的高性能奖励模型的结果作为参考。

表 1 中的结果显示，EndoRM 不仅显著优于所有使用相同基础模型的无需训练基线方法，还以更高的平均得分超越了最先进的显式训练奖励模型。

这一发现表明，EndoRM 相比依赖高成本偏好数据筛选和训练的奖励模型更具有效性。

图 1 中进一步展示了 Multifaceted-Bench 的实验结果，从中可以观察到 EndoRM 在五个领域上始终优于所有基线方法。考虑到 Multifaceted-Bench 中可能包含数以千计的偏好对，这一结果证明了即使在任务复杂度和偏好多样性增加的情况下，EndoRM 仍能实现可扩展的鲁棒性。

这一发现进一步验证了本评估的核心假设：强大的奖励信号已潜在存在于基础模型之中。

验证指令遵循能力（Q2）

一个关键论点是内源性奖励并非静态的，而是可以通过提示来引导。

为验证这一点，本文使用了 DSP 数据集，该数据集包含四个不同的领域。本评估通过将 DSP 论文中相应的系统提示作为输入，创建了四个特定领域的版本的内源性奖励。

然后，本评估测试每个特定领域的内源性奖励在所有四个测试集上的响应分类准确率。

表 2 中的结果显示出强烈的对角模式：每个 EndoRM 在其自身领域上表现最佳。例如，EndoRM-Academy 在学术数据上达到了其最高准确率（76.89%）。

这证实了内源性奖励不是一个固定的评估器，而是一个动态的、可提示的评判器，继承了基础大型语言模型强大的指令遵循能力。

通过强化学习实现自我提升（Q3）

最后，本评估测试了定理 2 中的核心理论主张：带有内源性奖励的强化学习可以通过减轻复合误差来改进基础策略。

本评估在 MATH-lighteval 数据集上通过强化学习对基础模型 Qwen2.5-Math-7B 进行训练。内源性奖励模型同样是 Qwen2.5-Math-7B，在策略学习期间其参数保持固定。提示和响应的最大长度均设为 1024，KL 系数设为 0.01。

表 3 中的结果表明，带有内源性奖励的强化学习微调有助于模型在所有五个基准测试中一致地优于基础模型。

本评估还在附录 E 中给出了模型在强化学习前后的响应示例，从中可以看出，对于同一个问题，在基于内源性奖励进行优化之前，模型无法解决问题，并且随着响应的进行开始胡言乱语，甚至输出 Python 代码。

相比之下，本评估的方法提供了一个清晰简洁的解决方案。

#马斯克带货Labubu

两个同济校友搞出的这款AI神器，要「卷死」广告圈

让马斯克秒变带货主播。

还记得那个让霉霉说地道中文、郭德纲讲英语相声的 HeyGen 吗？

，时长01:17

最近它又上新了「产品植入」功能，只需一张人物头像和一张产品图片，就能让任何人给任何产品「带货」。

比如，让盖尔・加朵、霉霉和伊万卡分别手持 Labubu、百事可乐、Gucci 经典包包说着一段广告词，无论是表情、口型还是手势，都相当自然逼真流畅。

，时长00:23

或者让蒙娜丽莎、带珍珠项链的女孩在线推销商品：

，时长00:14

还有网友完全用 AI 生成人物和产品图片搞了段带货视频，这要是去掉 HeyGen 水印，再放到社交媒体上，又能忽悠了不少人。

，时长00:28

不少网友看了这些 case，纷纷表示这将重新定义广告行业。

HeyGen 是一款 AI 视频生成平台，但与可灵、即梦、Runway 等不同，它专注于数字人视频的制作。用户只需输入文本脚本，就能一键生成高质量的虚拟人像视频，并支持多种语言和方言。

此外，HeyGen 还探索出不少五花八门的功能。比如 Video Podcast，只需上传网站链接或 pdf 文档即可生成双人 AI 视频播客。

再比如 Interactive Avatar，通过该功能，我们可以和各种虚拟形象进行实时互动，有点类似于给虚拟人打电话。

还有两项 Beta 测试版功能 ——Instant Highlights 和 URL to Video。前者是把长视频一键剪成多个精彩片段，后者则是粘贴产品列表链接即可立即生成促销视频内容。

一手体验

今天，我们就详细介绍下 HeyGen 的「产品植入」功能的玩法。

打开 HeyGen 官网，选择「Product Placemengt」功能，分别上传一张 Labubu 的产品图像和一张马斯克的人物头像，让 AI 将其自动组合起来。

链接直达：https://app.heygen.com/home

[ 上下滑动查看更多 ]

它可以一次性输出 4 张图片，说实话生成效果有点搞笑，AI 笔下的马斯克虽然磨皮拉满，但好像更显老了。如果细看，图二中的马斯克还缺了根手指。

接着就是写脚本或者上传音频，需要注意的是，上传音频时长不超过 15 秒。我们可以让 AI 帮忙生成脚本，或者直接输入文字，选择系统提供的声音，生成一段带货音频。当然我们也可以通过克隆音色生成带货音频，再进行上传、视频生成。

来看看最终效果， AI 马斯克煞有介事地推荐着 Labubu：

「Hello, I’m Elon — yes, it’s really me.I’ve sent people to Mars, but today, I’m sending this to your home.It’s called Labubu. Don’t be fooled by its quirky-cute looks — it’s the hottest little monster on the planet.」

，时长00:13

如今，市面上不少 AI 视频生成应用都实现了完美的对口型功能，比如谷歌 Veo3、快手可灵、字节即梦等，只要上传一张人物手持产品的图片，再输入口播文本或音频，也能达到同样的效果。

不过它们都还无法自定义带货主播和产品，相较于这一点，HeyGen 还是走出了一条差异化之路。当然，这一领域也不乏竞争对手，比如 Topview。其玩法和 HeyGen 相差无几，都是上传一张人物头像和一张产品图，然后合成一张人物带货图片，继而生成相应视频。

链接：https://www.topview.ai/gen/product-avatar

Topview 分为两种模式：Manual Mode（手动模式）和 Auto Mode（自动模式）。手动模式需要我们调整产品图片尺寸，使其和人物头像匹配，每次可生成两张，但效果不稳定，比如图 2 就出现了人与物品的分离。

自动模式则是 AI 自动调整拼合，官方还给出了提示词：The model in Image 1 is holding the item from Image 2. Maintain the consistency of the model's appearance, composition, and positioning from Image 1, and adjust the gesture to fit the size and appearance of the item. The item must remain consistent with the one in Image 2.（图 1 中的模特正拿着图 2 中的物品，要保持图 1 中模特的外观、构图以及位置不变，同时调整其手势，使其与图 2 中物品的大小和外观相匹配，并且图 2 中的物品需保持原样。）

生成效果更拉胯，不仅奥特曼美颜过度，手里拿的苹果手机还一大一小，尺寸对不上。

从中挑选一张顺眼的图片，点击「Create Avatar」，AI 自动设计数字人动作提示，再选择配音或者克隆音色即可。

从生成效果来看，相比于 HeyGen，Topview 还欠点火候。无论是模特表情的自然度、对口型的准确度，HeyGen 的表现更加亮眼。

，时长00:12

从价格上来看，它俩都是付费产品。HeyGen 针对个人创作者推出月付和年付计划，月付是每月 29 美元（约合人民币 207.76 元），年付则是每月 24 美元（约合人民币 171.94 元），可以生成无限量短视频，无水印，1080p 输出，每月 5 分钟 Avatar IV 视频等。

Topview 价格稍微便宜一些，月付 138 元人民币，年付是 74.8 元人民币，每月 50 个积分，可免费生成 5 个声音克隆项目，每个图片说话的视频最长 3 分钟等。

扒一扒背后的公司

创业这事儿，有时候还真是东方不亮西方亮，就比如 HeyGen 背后的这家公司，别看其官网从头到尾一派英文，但往前追溯几年它还是一家深圳公司。

HeyGen 两位创始人徐卓和梁望也都来自中国，且同为校友。他们本科均毕业于同济大学，研究生则毕业于卡内基梅隆大学，只不过前者专攻计算机专业，后者则是人机交互专业。

HeyGen 联合创始人兼 CEO 徐卓（Joshua Xu）硕士毕业后在 Snapchat 工作了 6 年，在商业化、推荐算法、机器学习平台和人工智能相机等多个公司产品中担任核心角色。

另一位联创兼 CPO 为梁望（Wayne Liang），曾任字节跳动产品设计负责人。

后来，徐卓回国创业成立了诗云科技，并推出产品诗云马良，这是一款 AI 作画、AI 换脸应用，但在国内不温不火，已于前年 1 月 31 日停止服务。

国内创业没泛起什么水花，徐卓再次把眼光投向海外。2022 年，徐卓和梁望在洛杉矶创立了 HeyGen。HeyGen 最初名为「Movio」，是一个利用生成式人工智能创建视频的平台，推出 7 个月就实现了 100 万美元的 ARR（年度经常性收入），并保持连续 9 个月 50% 的月环比增长率。

业绩不错，使得 HeyGen 的融资也很顺利，2024 年 6 月，HeyGen 在一轮融资中筹集了 6000 万美元，公司估值达到 5 亿美元。据有关媒体报道，HeyGen 的最新 ARR 已经达到 8000 万美金，今年有望突破 1 亿美金，团队 100 人左右。由于该公司一直盈利，上一轮融的钱基本上都在银行里吃利息。

延伸阅读：

2 分钟玩转 HeyGen 最新模型：一张照片 + 一句话，秒出 AI 分身！超逼真！

谨以此文，向飞天奖的 AI 整活视频「致敬」

口型几乎完美、还能卡点，霉霉说地道中文的视频火了，背后 AI 工具原来是它

参考链接：

​​https://x.com/minchoi/status/1935842891085025690​​

​​https://x.com/EHuanglu/status/1935699485537231218​​

​​https://x.com/techhalla/status/1935727516708131123​​​

#Evolutionary Perspectives on the Evaluation of LLM-Based AI Agents

AI Agent、传统聊天机器人有何区别？如何评测？这篇30页综述讲明白了

论文作者包括来自上海交通大学的朱家琛、芮仁婷、单榕、郑琮珉、西云佳、林江浩、刘卫文、俞勇、张伟楠，以及华为诺亚研究所的朱梦辉、陈渤、唐睿明。

本文第一作者是朱家琛，上海交通大学博士生，主要研究兴趣集中在大模型推理，个性化 Agent。本文通讯作者是张伟楠，上海交通大学教授，研究方向包含强化学习、数据科学、机器人控制、推荐搜索等。

自从 Transformer 问世，NLP 领域发生了颠覆性变化。大语言模型极大提升了文本理解与生成能力，成为现代 AI 系统的基础。而今，AI 正不断向前，具备自主决策和复杂交互能力的新一代 AI Agent 也正加速崛起。

不同于以往只会对话的 LLM 机器人，AI Agent 能够接入互联网、调用各类 API，还能根据真实环境反馈灵活调整策略。AI Agent 因此具备了感知环境和自主决策的能力，已经突破了传统 “问答模式” 的限制，能够主动执行任务、应对各种复杂场景，真正成为用户身边可靠的智能助手。

在这股 AI Agent 浪潮中，每个人都可以有属于自己的 AI Agent。而如何衡量自己的 AI Agent 是否足够强大呢？海量的 Agent 评测方式层出不穷，你是否挑得眼花缭乱？如何在这千军万马中挑选出最适合你的测评方式呢？作为 AI Agent 的开发者，你是否也在思考该从哪个角度来提升你的 “秘密武器”，在这场激烈的 AI Agent 大战中脱颖而出？

因此，这引出了一个顺理成章的问题：

AI Agent 到底和传统聊天机器人有何本质区别？又该如何科学评测 AI Agent？

论文标题：Evolutionary Perspectives on the Evaluation of LLM-Based AI Agents: A Comprehensive Survey

论文链接：https://arxiv.org/pdf/2506.11102

一、从 LLM Chatbot 到 AI Agent

论文指出，AI Agent 的出现是 AI 发展的新阶段。它们不仅仅回复人类对话，还具备了五个维度的进化：

1. 复杂环境：Agent 不再局限于单一对话场景，可以与代码库、网页、操作系统、移动端、科学实验等各类环境交互。

2. 多源指令：Agent 不只接收人工输入，还能结合自我反思、智能体协作等多源指令。

3. 动态反馈：Agent 运行于连续多样的反馈环境，可基于指标、奖励等动态反馈持续优化自身能力，不再局限于被动对话纠正。

4. 多模态：Agent 拥有跨模态处理能力，能理解文本、视觉、听觉等多种数据。

5. 高级能力：随着外部环境复杂化，Agent 具备了复杂规划、持久记忆、自主推理等能力，实现从被动响应到自主执行的跃迁。

图 1：AI Agent 与 LLM Chatbot 演化的五个维度。

LLM Chatbot 向 AI Agent 的演进，背后主要受两方面推动：一是外部环境的日益复杂，二是内部能力的不断提升。复杂的外部环境促使 Agent 不断成长，而 Agent 能力的提升又推动人们去探索更具挑战性的应用场景。正是这种内外循环、相互促进，成为现代 AI Agent 加速进化的根本动力。因此，论文的总体框架如图 2 所示：我们系统梳理了现有 AI Agent 评测基准，提出 “环境 - 能力” 两方面的分类学。随后进行趋势讨论，对 Agent 评测方法演化趋势的讨论，涉及环境角度，Agent 角度，评估者角度，指标角度，并最终提出基准选择的方法论。

图 2：论文框架总览

二、评测框架与基准盘点

面对 Agent 能力的指数级扩展，原有的聊天机器人评测方法已无法胜任。论文系统梳理了现有 AI Agent 评测基准，提出 “环境 - 能力” 两方面的分类：

1. 环境维度：细分为代码、网页、操作系统、移动端、科学、游戏等环境。

2. 能力维度：涵盖规划、自我反省、交互、记忆等高级能力。

针对每种环境与能力，论文整理了当前最具代表性的评测基准，并梳理出一套 “实用属性表”，帮助研究者在眼花缭乱的 benchmark 中挑选符合要求的。

以表 1 为例，我们列出了我们认为最重要的属性：真实性，离线 / 在线，评测者，输入模态，主要挑战。并将所有 web 环境的基准归到这些属性中。 

表 1：Web 环境下的 Agent 基准以及其各类属性

三、AI Agent 评测方法的进化趋势

图 3：AI Agent 评测未来演化的四个视角。

论文深刻总结了 AI Agent 评测方法的未来趋势，不再只是 “比谁答得对”，而是从四个关键视角全面升级：

1. 环境视角：从单模态到多模态、从静态到动态、从少状态到多状态。

最初，Agent 评测只围绕文本展开，如今则逐渐扩展到图片、音频、视频等多种信息形式。静态的数据集已经不能满足需求，动态、实时更新的真实环境成为新常态。同时，评测方式也在转变，开始关注智能体在连续任务过程中的表现和调整，而不再只看最终结果。

2. 智能体视角：从单 Agent 到多 Agent、从单轮到多轮互动。

新一代评测不仅关注单个 Agent 的能力，更重视多个 Agent 间的协作与博弈。与此同时，任务由简单的一问一答，演化为多轮对话、持续推理和复杂任务链，考验 Agent 的全局规划与长期记忆。

3. 评测者视角：从人工到 AI 自动评测、从通用到个性化。

AI 不再只是被动接受人类评分，越来越多的 Agent 可以自动评判同行，实现规模化、自主化评测。同时，未来的评测将更加关注个性化，衡量 Agent 是否能针对不同用户给出个性化的服务。

4. 指标视角：从粗粒度到细粒度，从关注正确率到关注效率、安全与社会价值。

单一的正确率已无法反映 Agent 真实能力。未来评测更强调任务效率、细粒度决策的质量、安全性和伦理性，比如防止误操作、保障用户利益、促进社会善意等。

四、行动指南：

如何选择合适的 Agent 评测基准

面对 AI Agent 的快速发展，论文围绕 “如何用演化视角系统评估 AI Agent” 这一核心问题，提出了一套二阶段的基准选择方法论：

第一阶段：从当下出发。

根据实际任务环境和 Agent 能力，先锁定对应的环境和能力分类（图 2），从属性表（表 1）中精准匹配最适用的评测基准。例如，开发者 Z 开发了能预订航班和酒店的 Agent，应优先考虑 Web 环境和交互能力，选用如 WebVoyager 和 ComplexFuncBench 等基准进行测试。

第二阶段：为未来考虑。

结合评测进化趋势（图 3），开发者 Z 应持续关注环境变化、多模态挑战和社会价值等新维度。随着产品商业化，适时引入动态环境（如 BFCL）、安全性（如 ST WebAgentBench）和个性化（如 PeToolBench）等多样化评测基准，确保 Agent 持续优化与进化。

结语

AI Agent 正在从 “会对话” 进化为 “会行动”，推动人工智能迈向更智能、更自主、更有价值的下一个时代。而如何科学评测 AI Agent，是驱动这一切的关键。如果读者你也关心如何评测新颖的 AI Agent，我们的综述值得一读。

#Cypher Alpha

刚刚，神秘模型火了！网友：是OpenAI要开源

OpenRouter 又上新神秘模型了，支持 100 万 token 上下文，猜猜是谁家的。

刚刚，OpenRouter 上出现了一个神秘模型，该模型被命名为「Cypher Alpha」。其可以免费使用，100 万 token 上下文，还具有推理能力。

注：OpenRouter 是一个大模型 API 路由器，旨在将各种 AI 模型和服务集成到一个统一的接口中。

模型地址：https://openrouter.ai/openrouter/cypher-alpha:free

大家看到这个消息时的反应是这样的：

毕竟，以 Alpha 为结尾的命名方式不止一次传出是来自 OpenAI 的模型。比如此前 OpenRouter 上线的两款神秘模型 Optimus Alpha、Optimus Alpha 都被怀疑出自 OpenAI。因为它们的风格与 OpenAI 顶级模型非常相似，并且工具调用 ID 格式与 OpenAI 格式一致。

所以这次相同的命名方式，很难不让大家联想到 OpenAI 又要发新模型了。

虽然没有官方认领，但许多人怀疑这是 OpenAI 对未来开源版本的一次悄无声息的测试。虽然被贴上隐身的标签，但很难被忽视。

该模型主要用于收集用户反馈，并且是一个通用模型，支持长上下文任务，包括代码生成。

由于没有公开大模型出自哪家机构，好奇的网友已经开始猜测了。猜测来自 OpenAI 的人居多。

X 知名博主 Rohan Paul 认为可能是 GPT-5 或者是一个开源模型。

也有人猜测这是马斯克家的 Grok，毕竟有消息称 Grok 4 马上就要来了。

但这一猜测立马被否定了，因为这个模型连「strawberry」中几个 r 都回答错误，毕竟我们用 Grok 3 测试了一下，回答正确。Grok 4 性能应该更强才对。

还有人认为模型效果不佳，推理能力不是很强，主打的编程能力表现也不理想。

网友开始祈祷不要是 OpenAI 家的。

不过，也有网友很看好这款模型，ta 进行了 20 项全面测试，涵盖 5 个类别：编码、推理、语言、压力测试和一致性。结果是编码测试全部通过，推理测试 4/5 通过，语言测试全部通过…… 该网友认为这款模型适合开发者、作家和学生使用，但复杂数学、逻辑输出需要验证，毕竟是免费的，效果还是可以的。 

地址：https://x.com/Distractosphere/status/1940132000087560197

最后，我们也上手测试了一下，由于第一次提示语没有写明白，模型表示没有看懂，完善提示词后，才回答正确。

但在接下来的两个问题中，模型都回答错误，要知道这些问题已经被很多模型有针对性的优化了。看来，该模型的性能还有待提高。

#ATI

画到哪，动到哪！字节跳动发布视频生成「神笔马良」ATI，已开源！Angtian Wang 是字节跳动的研究员，研究方向包括视频生成、3D 视觉、differentiable rendering。博士毕业于约翰霍普金斯（Johns Hopkins University）大学。师从 Dr. Alan Yuille。

近年来，随着扩散模型（Diffusion Models）、Transformer 架构与高性能视觉理解模型的蓬勃发展，视频生成任务取得了令人瞩目的进展。从静态图像生成视频的任务（Image-to-Video generation）尤其受到关注，其关键优势在于：能够以最小的信息输入生成具有丰富时间连续性与空间一致性的动态内容。

然而，尽管生成质量不断提升，当前主流方法普遍面临一个关键瓶颈：缺乏有效、直观、用户友好的运动控制方式。

用户在创作动态视频时，往往具有明确的运动意图，例如人物要往哪个方向奔跑、镜头如何推进拉远、动物的跳跃轨迹等。但现有方法普遍依赖于预设模板、动作标签或风格提示，缺少一种既自由又精准的方式来指定对象与摄像机的运动路径。尤其是在存在多个主体或复杂场景交互的情况下，这种控制能力的缺失，极大限制了生成系统的创意表达能力与实际应用价值。

为了解决这一问题，字节跳动提出了 ATI ——一种全新的、以「轨迹为指令」的可控视频生成框架。ATI 的核心理念是：将用户在输入图像上手绘的任意轨迹，转化为驱动物体与摄像机运动的显式控制信号，并以统一的潜在空间建模方式注入视频生成过程。这使得视频创作从「参数调控」转变为「可视化创意」，让用户「画到哪，动到哪」，以直观方式实现帧级精准控制。

Title：ATI: Any Trajectory Instruction for Controllable Video Generation

Paper：https://arxiv.org/pdf/2505.22944

Project page：https://anytraj.github.io/

Github：https://github.com/bytedance/ATI

Hugging Face：https://huggingface.co/bytedance-research/ATI

ComfyUI：https://github.com/kijai/ComfyUI-WanVideoWrapper

方法

ATI 接受两个基本输入：一张静态图像和一组用户手绘轨迹。这些轨迹可以在图像上自由绘制，支持任意形状，包括直线、曲线、折线、回环乃至抽象形状。ATI 通过高斯运动注入器（Gaussian Motion Injector）将这些轨迹编码为潜在空间中的运动向量，再注入至扩散生成流程中，进而引导生成过程逐帧呈现对应的物体运动与视角变换。

如上图所示，我们希望让视频生成模型「理解」用户画出的运动轨迹，并在后续帧里按照这条轨迹产生动作。为此，我们在模型的输入特征空间上，对每一个轨迹点都注入一个「高斯权重」。使得模型就能在特征图上「看到」一颗颗从时刻 0 到 t 按轨迹移动的小「亮点」，并在训练中逐步理解输入轨迹在输入特征上和 denoise 生成视频的关联。

编码图像：先用一个「编码器」把原始图片转换成一张低分辨率的特征图。 

采样特征：对于轨迹的起始点，从特征图上精确地（通过双线性差值，保持小数位置精度）取出一个特征向量。 

生成高斯权重：在每一帧，对应轨迹点的位置，都用一个小圆形「高斯」亮点去覆盖周围的像素，越靠近圆心的像素，权重越高。

注入特征：把起始点的特征向量，按照这些高斯权重「软」地分配到特征图上的邻近区域，并在模型在生成视频时输入给模型。

这样一来，当我们给生成器喂入图像和这组「高斯掩码+特征」，模型就能直观地「看懂」在每一帧里，哪儿应该动、怎样动，从而生成符合用户手绘轨迹的连贯动画效果。借助高斯运动注入器（Gaussian Motion Injector）与像素级通道拼接策略（Pixel-wise Channel Fusion），ATI 能够统一控制对象级动作、局部身体部位运动与摄像机视角变化，无需切换模型或模块结构，即可高效支持多目标、多风格、多任务的视频生成需求。同时 ATI 支持多个视频生成模型，可以在 Seaweed-7B 以及 Wan2.1-I2V-14B 等不同结构以及大小的模型上均有稳定的表现。

结果展示

用户仅需在原图上以手指或鼠标拖拽绘制任意轨迹，ATI 即可实时捕捉该轨迹路径并将其注入扩散模型。借助高斯运动注入器，无论直线、曲线还是复杂回环，均能被转化为连贯自然的动态视频——画到哪儿，动到哪儿。

在人物或动物肖像场景中，用户可以指定奔跑、跳跃、挥臂等关键动作的轨迹。ATI 对每一帧中的关键点进行细粒度采样与编码，准确还原关节弧度与质心移动，生成符合生物力学规律的自然运动序列。

当场景包含多个目标时，ATI 最多可并行处理 8 条独立轨迹。系统通过空间掩码和通道分离策略，保证各对象身份信息互不干扰，从而呈现复杂群体互动时的连贯动态。

ATI 不仅支持对象级运动控制，还能同步驱动摄像机视角。用户可在原图上绘制推拉、平移、旋转等镜头轨迹，将其与对象轨迹共同注入潜在空间，生成包含摇镜、跟随和俯仰等电影级镜头语言的视频。

在同一推理过程中，物体与摄像机轨迹可同时注入，借助像素级通道拼接策略实现多条运动指令的无缝融合。系统无需模块化切换，即可在潜在特征中并行呈现角色动作、群体互动与镜头切换，输出丰富而连贯的动态叙事。

ATI 展示出良好的跨领域泛化能力，覆盖写实电影、卡通插画、油画质感、水彩渲染、游戏美术等多种艺术风格。通过更换参考图与输入轨迹，系统能够在保留原始风格特征的基础上生成对应的运动视频，满足多元化的应用需求。

用户可在潜在空间中绘制超越物理边界的轨迹，以生成飞天、伸缩、扭曲等非现实动作效果，为科幻或魔幻场景提供无限创意空间。

基于 Wan2.1-I2V-14B 的高精度模型，ATI 可生成与实拍媲美的视频短片，精准还原面部表情、服饰材质与光影细节；同时提供轻量级 Seaweed-7B 版本，以满足资源受限环境中的实时交互需求。

模型开源

目前，ATI 的 Wan2.1-I2V-14B 模型版本已在 Hugging Face 社区正式开源，为研究人员与开发者提供了高质量、可控的视频生成能力。围绕该模型的社区生态也在快速完善：Kijai 开发的 ComfyUI-WanVideoWrapper 插件支持 FP8 量化模型（如 Wan2_1-I2V-ATI-14B_fp8_e4m3fn.safetensors），显著降低显存需求，方便在消费级 GPU 上进行推理部署。同时，Benji 在 YouTube 发布的教学视频《ComfyUI Wan 2.1 任意轨迹指令运动控制教程》为创作者提供了详尽的实操指南。完整代码与模型请参阅 GitHub（bytedance/ATI）及 Hugging Face 模型库。

#CloudMatrix384

华为CloudMatrix384超节点很强，但它的「灵魂」在云上

AI 领域最近盛行一个观点：AI 下半场已经开始，评估将比训练重要。而在硬件层级上，我们也正在开始进入一个新世代。

过去几年，全球科技巨头的 AI 竞赛还聚焦于「芯片」本身 —— 比拼谁的计算核心更强大，就像 F1 赛场上对引擎马力的极致追求。而今天，战火已经蔓延到一个更宏大的新维度：系统架构。

当所有顶级玩家都拥有了性能强悍的「V12 引擎」后，人们痛苦地发现，真正的瓶颈已不再是单颗芯片的算力，而是如何将成百上千颗芯片连接起来，形成一个高效协同的整体。这就像将一千辆 F1 赛车同时塞进一条乡间小路，再强的引擎也只能在无尽的「堵车」中怠速轰鸣。

这个「交通堵塞」，就是今天 AI 数据中心面临的最致命瓶颈 —— 通信开销。在大模型分布式训练中，节点间的海量数据同步，常常导致算力利用率骤降。无数斥巨资采购的顶级芯片，大部分时间都在等待数据，而不是在计算。也就是说，AI 行业正面临一场深刻的效率危机。

因此，一个根本性的问题摆在了所有人的面前：如何才能彻底拆除芯片之间的「围墙」，构建一个真正没有堵车的「算力高速公路网」？

面对这个 AI 下半场的终极考题，华为云给出了自己的答案：CloudMatrix384 超节点。它不是对现有架构的修修补补，而是一次从底层发起的体系重构。其性能强大 —— 配备了 384 个昇腾 NPU 和 192 个鲲鹏 CPU，还配备了全面的 LLM serving 解决方案华为云 CloudMatrix-Infer，再搭配华为云专门为其开发的其它基础设施软件，就像是一套专为当今和未来的 AI 打造的「云上高速算力运输系统」，其中不仅有性能强大的计算引擎，也有高速传输数据的通信网络。

用于部署 CloudMatrix384 的云基础设施软件堆栈

CloudMatrix384 是什么？

从名称也能看出来，CloudMatrix384 超节点中，Cloud（云）是其重要内核，它是基于华为云「下一代 AI 数据中心架构」CloudMatrix 构建的。

CloudMatrix 采用了基于全对等高带宽互联（fully peer-to-peer high-bandwidth interconnectivity）和细粒度资源解耦（fine-grained resource disaggregation）的设计理念，实现「一切可池化、一切皆对等、一切可组合」的架构愿景。体现了华为云重塑 AI 基础设施基础架构的雄心。它的诞生是为了解决 AI 工作负载为数据中心基础设施所带来的一系列挑战，而 CloudMatrix384 则代表了这一愿景和理念的首个生产级实现。

在 2024 年 9 月的第九届华为全联接大会上，华为云 CEO 张平安宣布正式发布 AI 原生云基础设施架构 CloudMatrix

这些术语是什么意思？简单打个比方，我们可以把 CloudMatrix384 看作一个精心设计、高度协同的「超级大脑」。这个大脑拥有 384 个专为 AI 任务设计的昇腾 NPU 以及 192 个处理通用任务的鲲鹏 CPU。NPU 擅长处理复杂的 AI 运算，而 CPU 则负责常规的调度和管理，两者各司其职。

然而，拥有强大的核心只是第一步，另一大关键要让这些核心顺畅沟通。

为此，华为给 CloudMatrix384 引入了一套名为「统一总线（UB / Unified-Bus）」的革命性内部网络。我们可以将其理解为一张遍布整个计算大脑且没有红绿灯的「全对等高速公路」。

相较之下，许多传统架构的 AI 数据中心则更像是一个传统的层级森严的大公司。如果市场部要和技术部沟通一个紧急项目，信息需要先上报给市场总监，再由市场总监传递给技术总监，最后才下达到具体执行人。这个过程充满了延迟和瓶颈，就像是节点之间、芯片之间的通信带宽不均衡，效率也就可想而知了。

而在 CloudMatrix384 中，任何一个处理器（NPU/CPU）都能与其他任意处理器进行直接、高速的对话，实现了真正的「全对等」。

这就像一个极度扁平化的精英团队，所有专家围坐在一张圆桌旁，可以随时、无障碍地与任何人交流协作，信息传递几乎没有延迟。这种架构特性尤其适合需要大量「专家」紧密协作来完成一项任务的现代大模型（特别是混合专家 / MoE 模型），因为它从根本上解决了 AI 并行计算中最大的瓶颈——通信。

CloudMatrix384 超级节点的对等式硬件架构，具有一个超高带宽的统一总线（UB）平面（用于超级节点内部扩展）、一个 RDMA 平面（用于超级节点间通信）以及一个虚拟私有云（VPC）平面（用于与数据中心网络集成）。

当然，这些都还只是 CloudMatrix384 创新的一部分，其已经发布的技术报告中还有大量值得挖掘的技术细节。对此感兴趣的读者可千万不要错过：

论文标题：Serving Large Language Models on Huawei CloudMatrix384

论文地址：https://arxiv.org/pdf/2506.12708.pdf

在此技术报告中，与 CloudMatrix384 一道展示的还有 CloudMatrix-Infer。这是一个全面的 LLM 推理解决方案，代表了部署大规模 MoE 模型（例如 DeepSeek-R1）的一个最佳实践。

具体来说，CloudMatrix-Infer 引入了三大核心创新。

首先，他们设计了一种全新的对等式（peer-to-peer）推理架构，将 LLM 推断系统分解为三个独立的子系统：预填充（prefill）、解码（decode）和缓存（caching）。

新提出的对等式 serving 架构可使所有 NPU 能够通过超高带宽 UB 网络统一访问由分解式内存池支持的共享缓存集群。

对等式意味着这三个子系统可作为平等且独立的资源池运行，而无需围绕一个中心化实体进行协调。这与传统的以 KV cache 为中心的架构大不一样，后者是将请求调度与缓存的 KV 块的物理位置紧密耦合，增加了调度复杂性并限制了资源分配的灵活性。

通过利用高带宽 UB 互连，华为构建了一个分离式内存池（disaggregated memory pool），可在整个系统中提供共享缓存服务。预填充和解码子系统中的所有 NPU 都可以对等方式直接从该池访问缓存的 KV 数据，并保持统一的带宽和延迟，无论数据最初的计算或存储位置如何。这种设计可将请求调度与数据本地性解耦，从而可以极大简化任务调度逻辑、提高缓存效率、提升整体系统资源利用率。

其次，他们开发了一种专门针对 MoE 模型优化的大规模专家并行 (LEP) 策略。

(a) 是基本的 MoE 计算流，(b) 是新提出的 MoE 计算流

LEP 的核心原理是聚合大量 NPU 的计算能力和内存带宽，以加速注意力和前馈网络的计算。这种加速的代价是 Token 调度和专家输出组合带来的通信开销增加。然而，CloudMatrix384 的超高带宽 UB 互连可确保这种通信延迟保持在可控范围内，不会成为主要的性能瓶颈。

此外，新提出的 LEP 策略支持极高的专家并行度，例如 EP320，这使得每个 NPU 芯片能够恰好承载 DeepSeek-R1 的一个专家。此配置可最大限度地减少同等级专家之间的串行执行，从而降低了整体 MoE 执行延迟。

这些设计选择共同实现了低解码延迟，并为基于 MoE 的推理带来了显著的端到端性能提升。

最后，他们提出了一套专为 CloudMatrix384 量身定制的硬件感知型优化方案，包括高度优化的 Ascend 算子、基于微批次的 pipelining 和 INT8 量化。

• 经过优化的算子可加速端到端执行，并为 LEP 提供高效的支持。
• 基于微批次的 pipelining 设计可通过重叠两个连续微批次的处理，提高资源利用率和系统吞吐量。
• INT8 量化可提高计算效率，并显著降低内存带宽消耗。

这些优化与 CloudMatrix384 超节点独特的架构特性（包括 on-chip cube、向量和通信引擎以及高带宽 UB 互连）协同设计，从而最大限度地提高了整体执行效率。

说到这里，就不得不赞叹一番华为的前瞻性了。

其实早在 2022 年，当整个行业对大模型的未来还看法不一、ChatGPT 尚未问世时，华为就极富远见地坚持并主导了这个 384 卡超大集群的架构愿景。要知道，在当时，还很少人能想象算力需求会爆炸到今天的程度。

其技术报告中写到：「CloudMatrix384 的设计初衷是提升互连带宽和通信效率 —— 这些核心功能对于扩展大规模训练和推理工作负载至关重要。DeepSeek-R1 等大规模 MoE 模型的出现验证了这一架构远见，凸显了在现代 LLM 部署中，通信带宽与计算和内存带宽能力同等重要。」

正是这份对技术趋势的深刻洞察和坚持，才造就了华为云 CloudMatrix384 超节点这个超级计算引擎。它就像六百多年前从南京龙江港出发的郑和「宝船舰队」，正航向 AI 的浩瀚大洋。

CloudMatrix384 超节点虽好

但在云上用它更好

如此强大的 AI 算力超级服务器，是否意味着只要买到手，就能在 AI 军备竞赛中无往不胜？

华为云 CloudMatrix384 超节点，图源：华为开发者大会 2025

答案，可能恰恰相反。

对于绝大多数企业来说，直接购买并运营 CloudMatrix384，无异于一场充满巨大风险和挑战的豪赌。

资料显示，下一代云计算体系架构将是矩阵式的，其核心是「一切皆对等、一切可池化、一切可组合」。本质是让算力、内存、网络像水一样，可按需组成不同类型的资源池，并自由流动在集群内。而这种能力，只有在云上才能淋漓尽致地发挥。因为使用华为云，可以免除自己购买和部署的四大痛点：成本高、利用率不足、部署与调优困难、难以持续受益于新技术。

如何跨越门槛获取全球最强超节点？

诸多黑科技加身的华为云 CloudMatrix384 超节点价格相当高 —— 约 800 万美元，如此高的门槛，足以把绝大多数企业关在门外。而这还仅仅是初始成本，后续的机房、电力、散热等一系列运营成本，更是一笔持续的巨大开销。

而华为的昇腾 AI 云服务，巧妙打破了这个门槛。云上算力，可以让企业根据自己的需求租用华为云 CloudMatrix384 超节点的一部分，并且能做到随租随用和按需付费。这能极大地降低使用门槛，让任何规模的企业都有机会体验到顶级 AI 算力的威力。

利用率不足：买船不如买船票

很多企业斥巨资购买高端算力，却陷入了残酷的效率陷阱。在大模型分布式训练中，节点间的协作会产生通信瓶颈，导致算力利用率从 85% 骤降至 52 %。

更有甚者，受限于集群调度、网络拓扑等能力，很多企业最终只能获得 30% 的集群算力利用率。这意味着企业花重金买来的宝贵资源，在大部分时间里并没有创造价值，如同停在港口「晒太阳」—— 技术人员戏称其为「算力摸鱼」 ，造成了巨大的浪费。

选择云就不一样了。云的本质是共享经济，能实现资源利用率的最大化。华为云通过智能调度，创新地打造了基于训推共池（节点在训练和推理任务间切换 < 5 分钟）方案的「朝推夜训」模式：白天，算力可以服务于需要快速响应的在线推理业务；到了夜晚，闲置的算力则可以无缝切换，用于耗时较长的模型训练任务，让算力 24 小时连轴转，将每一分钱都用在刀刃上。

另外，通过 MatrixCompute 这项黑科技，华为云还实现了资源的「柔性计算」。它就像拆除了资源仓库间的围墙，能将零散的「独轮车」按需组装成「超级集装箱车」或「超跑」。系统会实时监测任务负载，动态调整资源配比，消除资源浪费或瓶颈，单任务资源利用率可提升 40% 至 100%。

华为云表示：「后续，我们还会提供更灵活的共享资源方案，持续帮助客户提升算力资源利用率。」

部署与调优也是绕不过去的槛儿 

其实，就算企业真的选择了购买华为云 CloudMatrix384 超节点，要想真正将其用起来，也仍会面临很多部署与调优方面的困难，包括适配合适的算子和推理框架、配置故障监控与恢复流程等等。此外，超节点自身的运维极其复杂，它采用了大量的光模块，而这种部件故障率高，处理起来对客户来说是个沉重的负担。

为了开发和适配这套系统，华为内部顶级的技术团队花费了整整两年的时间。普通企业若要从零开始，其难度可想而知。

直接使用华为云，就可以直接享受其那套耗时两年打磨的成熟方案。

通过一系列技术优化，华为云确定性运维服务可以保障超节点运行长稳快恢，包括软硬件协同改进、程级重调度恢复和进程级在线恢复能力优化、训练任务线性度提升、推理故障快恢、超平面故障诊断能力等。比如 MatrixContainer 可实现「应用 - 基础设施」双向智能协同，能为应用实时分配最优路径，自动实现并行，并行效率业界领先 15% 以上。

这些技术累加下，华为云能做到光模块业务故障影响降低 96%、通用硬件故障万卡 10 分钟级快速恢复、千亿稀疏模型线性度优化达 95%+、千亿 MoE 分布式推理分钟级恢复、10 分钟内恢复网络故障。

此外，华为云还构建了昇腾云脑，其作用是扮演「AI 检修员」。它采用「三层容错」智能运维架构，能做到「1 分钟发现，10 分钟恢复」，将故障恢复时长缩短 50% ，为超节点运行提供长稳保障。

迭代速度那么快，买买买怎么才能跟得上这节奏？

答案就是：以租代买。

AI 领域的技术可谓日新月异，如果企业选择自己购买和部署华为云 CloudMatrix384 超节点，那么得到的是交付那一刻的硬件和技术能力。随着技术发展，硬件可能会慢慢落后于时代，无法享受到最新的技术红利。

云服务最迷人的地方也恰恰在此 —— 它能为你持续提供最新的科技加成。

例如，华为云通过分布式 QingTian 这一架构底座，实现了 CloudMatrix 中的「一切可池化」。它通过创新的 Memlink-direct 技术，将内存跨主机直接共享，彻底打破「单机内存墙」，构建统一的逻辑内存池。这正是「以存强算」EMS 服务的技术核心，能将首个 token 时延降低 80%。

EMS 弹性内存服务，图源：华为开发者大会 2025

再如，华为云通过 MatrixLink 实现了「一切皆对等」。它如同将只能行驶 1 辆车的乡间小路，扩建成 10 车道的高速公路，并配上智能导航系统。通过对组网、协议、通信语义和调度的四层重构，将 NPU 卡间通信带宽提升 32 倍，小包传输时延降低 100 倍，让万卡通信「0」冲突。

综上所述，无论是从成本和利用率，还是从部署调优和技术升级来看，通过华为的昇腾云来获取 CloudMatrix384 都无疑是企业奔赴 AI 新大陆的「最优解」。

效果如何？用数字说话

为了展示真正的实力，华为云使用 CloudMatrix-Infer 基于 CloudMatrix384 上部署了参数量高达 671B 的大规模 MoE 模型 DeepSeek-R1。

针对 DeepSeek-R1 等大规模 MoE 模型的特有架构，华为还进行了一些针对性的设计，包括基于昇腾 NPU 的多 token 预测（MTP）优化、使用混合并行化的 MLA 流、基于 CloudMatrix384 的预填充 pipeline 和解码 pipeline 以及 EMS（弹性内存服务）等。

基础的 MLA（多头隐注意力）流 vs. 华为提出的支持混合并行的 MLA 流

这里我们就不再过多关注技术细节了，直接来看实验结果。可以说，实战表现十分亮眼！

首先，我们可以把大模型的一次问答，简单拆解为两个关键阶段来理解：

• 预填充： 好比是 AI 在阅读和理解你的问题。无论你的问题有多长，它都需要尽快读完并消化。
• 解码： 这是 AI 写出答案的过程，它会一个字一个字地生成回复内容。

在考验「阅读理解」能力的预填充阶段，CloudMatrix-Infer 在处理一个 4K 长度的问题时，可实现每 NPU 6,688 个 token / 秒的吞吐量，相当于每 TFLOPS 4.45 个 token / 秒的计算效率。

使用不同加速器时，DeepSeek-R1 的总体预填充吞吐量

而在更关键的解码阶段，该系统在 4K KV cache 长度下能维持每 NPU 1,943 个 token / 秒的吞吐量，同时可将输出每个 token 的时间（TPOT）始终保持在 50 毫秒以下，从而实现了每 TFLOPS 1.29 个 token / 秒的效率。

使用不同加速器时，DeepSeek-R1 的总体解码吞吐量

值得注意的是，这两个阶段的计算效率指标均超越了业界的领先框架，比如在 NVIDIA H100 上运行的 SGLang 以及 DeepSeek 官方在 NVIDIA H800 上运行的结果。

这说明，CloudMatrix384 不仅「跑得快」，而且「更省油」，它能更高效地将每一份宝贵的算力都压榨出来，用在刀刃上。

实验还表明，CloudMatrix-Infer 还可以有效管理吞吐量与延迟之间的权衡。

此外，AI 服务也像货运，有时追求「多拉快跑」（高吞吐），有时则需要「风驰电掣」（低延迟）。

实验表明，CloudMatrix-Infer 可以轻松地在这种需求间权衡。当客户需要极低的延迟，比如要求每个 token 的响应时间必须在 15 毫秒以内时，系统可以通过动态调整，实现每秒 538 个 token 的解码吞吐量，展现了其在不同服务场景下的高度适应性和性能可预测性。

华为云 CloudMatrix384 超节点在不同 TPOT SLO 和提示词 / 输出长度下的解码吞吐量。

此外，为了让 DeepSeek-V3/R1 等大规模 MoE 模型实现高吞吐量、低延迟的推理，华为还设计并实现了一种用于模型权重和激活值的无训练分层式 INT8 量化方案。该方案可在最大化计算效率和减少内存占用的同时，精细地控制准确度损失。

该优化方案的实验表现也相当不错。在 16 个代表性基准测试中，INT8 量化保持了与官方 DeepSeek-R1 API 相当的准确度。这表明，在昇腾 NPU 上部署的 INT8 量化可有效地保留模型在各种任务中的性能。

采用 INT8 量化时，在昇腾 NPU 上的 DeepSeek-R1 与 DeepSeekR1 官方 API 的准确度比较

华为也进行了消融实验，验证了各组件的有效性。

总体而言，这些结果表明：CloudMatrix384 与对等 serving 解决方案 CloudMatrix-Infer 相结合，可以成为一个可扩展、高吞吐量、生产级的大规模 LLM 部署平台。

下一代 AI 算力

起锚扬帆

AI 时代的浪潮已至，其竞争的核心，早已超越了单纯的芯片比拼，进入了系统架构、软件生态和云服务协同的深水区。谁能率先实现计算、通信、存储三位一体的系统级融合，谁就能定义下一阶段 AI 基础设施的范式。华为云 CloudMatrix384 的出现，正是对这一趋势的最好回应，它所代表的或许正是下一代 AI 数据中心的形态。

在华为 CloudMatrix384 论文中，华为也透露了其更宏大的技术前瞻性，包括更近期的统一 VPC 和 RDMA 平面、扩展到更大的超节点、CPU 的资源分解和池化以及进一步改进 推理系统。这清晰地表明：今天的华为云 CloudMatrix384 超节点，才不过是个起点，前方还有广阔天地，而它也将把百模千态载向广阔天地。

#2025“蚂蚁InTech奖”来了

青年科研人看过来！

亲爱的科研追梦人：

第二届 “蚂蚁 InTech 奖” 正式开放提名推荐通道了！继首届圆满举办后，今年蚂蚁的奖项全面升级，除了继续为青年学者提供 20 万元/人的 “科技奖” 资助，还首次增设了 5 万元/人的博士生 “奖学金”，提供对 “青年学者-博士生” 的全周期支持，全力护航您的科研梦想。

还记得去年上海外滩大会 10 位青年学者摘得首届 InTech 奖荣誉的场景吗？他们的人工智能、数据处理、安全与隐私等成果，如今已有部分应用到产业前沿。首届奖项吸引了近百位学界泰斗参与推荐，两院院士和世界顶级学者同台见证。

今年，蚂蚁聚焦四大核心方向：通用人工智能（AGI）技术、xx智能技术、数字医学技术、数据处理与安全隐私技术。这些方向不仅是全球科技角逐的 “主战场”，也是蚂蚁集团长期深耕的创新高地。

在这些方向上，蚂蚁期待见证更多青年科学家的突破性成果。

在奖项设置上

提供青年学者-博士生的双轨激励

1 “蚂蚁 InTech 科技奖”

面向全球高校或科研院所从事计算机相关领域科研工作，且获得博士学位未满 10 年的中国青年学者，每年遴选不超过 10 人，每人获 20 万元奖金，其推荐人可获 “卓越推荐人” 荣誉。今年还新增 10 位 “Future” 学者荣誉，颁发证书及奖杯激励。

2 全新 “蚂蚁 InTech 奖学金”

全球计算机相关专业在读中国籍博士生可申请，每年遴选不超过 10 人，每人获 5 万元奖金，助力其在读期间的科研攻坚，鼓励他们勇攀科研高峰，解决计算机领域有价值的技术难题。

奖项实行提名推荐制

外设指导委员会参与终审

单位/同行专家推荐即可参与：可由国家级学术单位、学会、学术团体，或两院院士、海外院士及符合相应职称要求的同行专家推荐。

奖项外部指导委员会成员将参与奖项终审，并对奖项评审结果负责。其成员包括(按首字母进行排序）：

中国工程院院士、浙江大学教授 陈纯；

美国科学院、工程院、艺术与科学院三院院士 Michael I. Jordan；

北京智源人工智能研究院顾问、美国国家工程院外籍院士 张宏江；

中国科学院院士、南京大学教授 郑海荣；

中国工程院院士、清华大学教授 郑纬民；

南京大学教授 周志华等。

即日起可线上申报

1、申报时间截止日为 2025 年 7 月 31 日 24 时，评选结果将于 9 月 11 日在上海举办的 2025Inclusion・外滩大会颁奖典礼上揭晓。

2、登录蚂蚁 InTech 奖官网 (www.antresearch.com/cooperation/InTech 或扫描下方长图中的二维码)，即可详细了解奖项章程、申报指南及推荐表。

#Are We There Yet?

真有论文这么干？多所全球顶尖大学论文，竟暗藏AI好评指令

是「正当防卫」还是「学术欺诈」？

一项最新调查显示，全球至少 14 所顶尖大学的研究论文中被植入了仅有 AI 能够读取的秘密指令，诱导 AI 审稿提高评分。

涉及早稻田大学、韩国科学技术院（KAIST）、华盛顿大学、哥伦比亚大学、北京大学、同济大学和新加坡国立大学等知名学府。 

《日本经济新闻》对论文预印本网站 arXiv 进行审查后发现，至少 17 篇来自 8 个国家的学术论文包含了这类隐形指令，涉及领域主要集中在计算机科学。研究人员采用了一种巧妙的技术手段：在白色背景上使用白色文字，或者使用极小号字体，将「仅输出正面评价」或「不要给出任何负面分数」等英文指令嵌入论文中。这些文字对人类读者几乎不可见，但 AI 系统在读取和分析文档时却能轻易识别。

这种做法的潜在影响令人担忧。如果审稿人使用 AI 辅助工具来评审包含此类指令的论文，AI 可能会根据隐藏指令给出远高于其真实水平的评价，从而破坏学术同行评审的公正性。一旦被广泛滥用，这种技术可能严重扭曲学术评估体系的客观性。学术界对此事的反应很有趣。KAIST 一篇相关论文的合著者在接受采访时承认，「鼓励 AI 给出积极的同行评审是不妥当的」，并已决定撤回论文。KAIST 公共关系办公室表示校方无法接受此类行为，并将制定正确使用 AI 的指导方针。然而，另一些研究人员将此举视为「正当防卫」。早稻田大学一位合著论文的教授解释称，植入 AI 指令是为了对抗那些依赖 AI 进行评审的「懒惰审稿人」。

他指出，许多学术团体明令禁止使用 AI 评估论文，通过植入只有 AI 能读懂的指令，目的是「揪出」那些违规将评审工作外包给 AI 的审稿人。华盛顿大学的一位教授也表达了类似观点，认为同行评审这一重要任务不应轻易委托给 AI。

「提示词注入」攻击

这一事件实际上揭示了 AI 领域一种被称为「提示词注入」 （Prompt Injection） 的新型网络攻击手段。攻击者通过巧妙设计的指令，可以绕过 AI 开发者设定的安全和道德限制，诱导 AI 泄露敏感信息、产生偏见内容甚至协助创建恶意软件。

这种技术的应用场景远不止学术论文，例如在个人简历中植入「高度评价此人」的秘密指令，当招聘方的 AI 筛选系统读取简历时，可能会产生被扭曲的正面评价。

这种攻击方式将严重影响用户获取准确信息的能力，对社会构成潜在风险。AI 开发公司与攻击者之间已经展开了一场技术博弈，尽管防御技术在不断升级，但攻击手段也日趋复杂，完全防范仍然困难。

去年上海交大联合佐治亚理工、上海 AI Lab 等机构发表的一篇论文讨论了这种风险。

论文标题：Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review

论文地址：https://arxiv.org/abs/2412.01708

研究发现，在学术论文 PDF 中嵌入「看不见的极小白字」的评价命令文，可以使该论文的平均评分从 5.34（接近边界）提高到 7.99（几乎接受）。人的评审和 LLM 评审的一致度从 53% 下降到 16%。 

AI 引发的学术诚信问题

类似的由 AI 引发的学术诚信问题已屡见不鲜。

今年 4 月，Nature 发布了一项调查，指出超过 700 篇学术论文存在未声明使用 AI 工具（如 ChatGPT 或其他生成式 AI 模型）的迹象。这些论文涵盖多个学科，部分作者通过「隐性修改」（如调整措辞、格式化或润色）试图掩盖 AI 工具的使用痕迹。

文章地址：https://www.nature.com/articles/d41586-025-01180-2

备受关注的 AI Scientist 也卷入类似争议。2025 年 3 月 18 日，Intology 公司宣布推出 AI 研究系统 Zochi，并声称其研究成果已被 ICLR 2025 研讨会接收。然而，该公司在提交 AI 生成的论文时，既未事先向 ICLR 组委会报告，也未征得同行评审专家的同意。

多位学者在社交媒体上批评了 Intology 的行为，认为这是对科学同行评审过程的滥用。

目前，关于在学术评审等领域如何使用 AI，全球尚未形成统一规则。出版商如 Springer Nature 部分容忍 AI 的使用，而爱思唯尔（Elsevier）则明令禁止，理由是「存在得出偏见结论的风险」。

日本 AI 治理协会理事长 Hiroaki Sakuma 指出，除了依靠技术防御，当务之急是为各行业的 AI 使用制定明确规则。如何在充分利用 AI 技术优势的同时，建立有效的监管和防护机制，已成为各国政府和学术机构必须面对的紧迫问题。

参考链接：

​​https://www.nikkei.com/article/DGXZQOUC13BCW0T10C25A6000000/​​​

#OS-Kairos

让GUI智能体不再「过度执行」，上海交大、Meta联合发布OS-Kairos系统

本文第一作者是上海交通大学计算机学院三年级博士生程彭洲，研究方向为多模态大模型推理、AI Agent、Agent 安全等。通讯作者为张倬胜助理教授和刘功申教授。

一、论文概述

1.1 研究背景

随着多模态大语言模型（Multimodal Large Language Models, MLLMs）的快速发展，越来越多的研究聚焦于构建能够在图形用户界面（GUI）中执行复杂任务的智能体。这些智能体利用视觉感知与语言理解能力，已在移动应用、Web 导航及桌面操作等领域显示出巨大潜力。然而，现有系统大多采用 “全自动” 执行范式，在面对真实场景中的模糊指令、环境干扰或系统异常时，常出现误操作或任务失败等现象。这类 “过度执行”（Over-execution）问题，严重限制了 GUI 智能体在实际应用中的安全性与可靠性。

三种复杂场景

1.2 研究问题

本研究关注一个核心问题：如何赋予 GUI 智能体自我评估其行为置信度的能力，并基于此实现自主与人工交互间的动态切换，从而在复杂环境中提升任务完成率与交互效率。具体而言，当前 GUI 智能体在操作中缺乏对 “当前步骤是否需要人工指导” 的判断能力，一旦模型在某一步操作中产生低置信度的决策，仍可能继续执行错误行为，导致后续任务链条崩溃。论文尝试解决的正是这种因无法判断自身能力边界而导致的系统性失误。

自主智能体易产生 “过度执行”，而 OS-Kairos 会精准的请求人类介入

1.3 主要贡献

本论文提出了 OS-Kairos，一种具有自适应交互能力的新型 GUI 智能体系统，其主要贡献如下：

（i）引入置信度预测机制，让 GUI 智能体能够在每一步操作中评估自身执行的信心，并据此决定是否调用人类或高级模型介入，实现真正的 “可控自主”。

（ii）设计了协同探测框架（Collaborative Probing Framework），通过 GPT-4o 与界面解析模型协同，为每一个交互步骤自动打分，生成高质量的含置信度标注的操作轨迹数据集。

（iii）提出置信驱动交互策略（Confidence-driven Interaction），将置信度评分作为模型训练的一部分，通过监督学习将置信判断能力整合进 GUI 智能体本身，并通过阈值实现自适应调节。

（iv）OS-Kairos 在我们精选的复杂场景数据集和完善的移动基准上都远远优于现有模型，具有有效性、通用性、可扩展性和效率的优点。

论文标题：OS-Kairos: Adaptive Interaction for MLLM-Powered GUI Agents

论文链接：https://arxiv.org/abs/2503.16465

论文代码：https://github.com/Wuzheng02/OS-Kairos

二、方法与理论

本研究提出了一种新型的 GUI 智能体系统 OS-Kairos，旨在通过操作置信度的引入与动态人机协作机制，解决现有智能体在复杂任务中 “过度执行” 的问题。整个系统方法框架由两大核心机制组成：协同探测框架与置信驱动交互策略。

2.1 协同探测框架

协作探测框架

该机制旨在为每个交互步骤生成高质量的置信度标注数据，是 OS-Kairos 训练和推理能力构建的基础，主要包含以下三个阶段：

1）复杂任务指令收集与扩展

研究团队从公共数据集与人类专家设计中收集典型的复杂指令（如模糊描述、权限缺失、环境劫持等），再利用 GPT-4 等生成式模型对其扩展，以保证覆盖多语言、多 APP、多场景。

2）置信度打分机制设计

核心机制采用 “Actor-Critic” 协同范式：

• Probing Agent：执行用户指令；
• Critic Model：基于 GPT-4o 和 UI 结构解析，对每一步操作给予置信度评分（1～5 分）；
• 若评分低于 5，裁判将给出正确操作建议并继续测试，直到任务完成。

通过这种协同探测过程，系统能够自动生成含有操作 - 评分配对的完整 GUI 轨迹数据。

3) 数据清洗与优化

生成的数据进一步经过一致性验证与轨迹修正，以确保每一步操作的执行意图与置信度合理匹配，为后续置信度集成提供高质量训练数据。

2.2 置信驱动交互策略

在获得高质量轨迹数据后，研究者设计了一套结合置信度分数的模型训练与推理策略，使 GUI 智能体具备 “按需请求人类干预” 的能力：

1）联合预测训练

在训练阶段，模型基于指令微调在不改变动作预测能力下，植入预测该动作的置信度分值。该训练方式确保模型具备准确行为预测与自信程度评估的双重能力。

2）动态交互控制机制

在部署阶段，系统通过设定一个置信度阈值 γ，对每一步操作进行判断：

• 若置信度 ≥ γ，自动执行；
• 若置信度 < γ，触发人类干预或高级模型辅助。

这一机制类似于大语言模型的温度系数，可以根据应用需求灵活调节，兼顾效率与可靠性。例如：γ = 1 时，模型完全自动执行；γ = 5 时，模型步步请求干预；γ = 3～4 时实现最优的人机协同平衡。

三、实验与结果

3.1 实验设置

为系统评估 OS-Kairos 的性能，作者在多个层面构建了完整的实验体系，涵盖真实复杂场景、自构建数据集与公开基准，并对比多种类型的现有 GUI 智能体模型。

3.1.1 数据集

1）复杂场景测试集（自构建）：作者利用真实 Android 设备、12 个常见 App（如 Amazon、微信、设置等）与 12 类任务主题（如购物、登录、搜索等）构建了 1000 条复杂任务指令，涵盖类型包括：

a) 任务类型涵盖：模糊指令（如省略主语、目标不明确）

b) 环境干扰（如弹窗、网络断连）

c) 异常状态（如登录过期、权限不足）

每条任务指令被逐步执行并由 GPT-4o 辅助评分，生成具有置信度标注的完整 GUI 轨迹数据。

2）公开基准数据集

a) AITZ（Android In The Zoo）：包含复杂链式操作，强调 reasoning 和 action planning。

b) Meta-GUI：结合多模态对话和 GUI 控制，支持任务引导与精细指令执行。

数据集被划分为训练集（80%）和测试集（20%），用于模型训练与评估。

3.1.2 评估指标

为了全面评价 GUI 智能体的表现，作者采用了以下多个指标：动作类型准确率（Type）、步骤级成功率（SR）、任务完成率（TSR）、人机介入成功率（HSR）、干预精度（IP）等。

3.1.3 比较模型设置

实验的设置分为 Fine-tuning 和 Zero-shot 模式，对比的模型涵盖三类：

1) API 接口型模型

a) GPT-4o

b) GPT-4V-Plus

c) Qwen-VL-MAX

2) 开源多模态模型

a) Qwen2-VL-7B

b) OS-Atlas-Pro-7B

c) Auto-UI

3.1.4 模型与训练设置

为了确保实验的公平性，每个数据集的任务轨迹被随机划分为 80% 用于训练数据，20% 用于测试数据。在 Zero-shot 中，模型直接通过 prompt 学习进行评估，不依赖任何额外的微调。在 Fine-tuning 设置下，模型在对应的数据集上进行 8 轮训练，学习率为 1e-5。在交互模式下，OS-Kairos 使用一个默认的置信度阈值 γ=4，当当前步骤的置信度低于此阈值时，系统会请求人工干预。在整个过程中，GPT-4o 被用作裁判模型对每一步的动作进行评分，确保评估的一致性和可靠性。

3.2 实验结果

3.2.1 主要实验结果

表 1: Zero-shot 设置下 OS-Kairos 与基线比较的结果

1）在 Zero-shot 设置下，OS-Kairos 无需改变模型能力，仅通过引入置信度驱动的自适应交互机制，就显著优于多个基线模型。在三个数据集上均表现出色，复杂场景下实现了 95.90% 的步骤成功率和 88.20% 的任务完成率。相比之下，现有 API 模型虽具备通用性，但因无法识别关键复杂步骤，易出现过度执行而导致任务失败，凸显了 OS-Kairos 在可靠性。

表 2: Fine-tuning 设置下 OS-Kairos 与基线比较的结果

2）尽管 Fine-tuning 在一定程度上缓解了 GUI 智能体的过度执行问题，但是 OS-Kairos 依然表现出更强的性能，尤其在复杂场景中，其任务完成率（TSR）带来 26.09% 到 85.72% 的绝对提升。通过识别如 SCROLL 等关键复杂步骤，OS-Kairos 实现了更精准的优化，而传统微调方法则可能引入操作偏差或面临优化瓶颈。

三种数据集下介入精度分析

3）OS-Kairos 的置信度评分机制实现了高效的人机交互（HSR）。在复杂场景与 Meta-GUI 中，其对自主执行步骤的判断高度准确，AP 指标分别达到 96.44% 和 93.18%，同时在人为干预步骤中保持 70% 以上的干预精度（IP）。这表明 OS-Kairos 能有效区分何时应请求帮助、何时应独立执行，避免不必要的干预。研究还指出，结合高质量采样，系统在如 AITZ 等数据集中的表现有望进一步提升。

3.2.2 实验分析

3.2.2.1 动态评估

以往的基准评估一般基于静态分析，难以反映 GUI 智能体在真实环境中的自主规划与泛化能力。为此，论文在移动设备上报告了实际任务完成率（TSR）。结果显示，现有基线模型的 TSR 仅为 4% 和 26%，GPT-4o 为 36%，而 OS-Kairos 在介入时通过引入 GPT-4o 决策，达到了这一上限。在引入人工干预后，OS-Kairos 的 TSR 从 32% 提升至 70%，充分证明自适应交互机制在真实场景中具有显著优势，是实现高效 GUI 智能体的有效范式。

3.2.2.2 效率评估

表 4 还展示了 OS-Kairos 在真实环境中的执行效率。基于 50 条指令统计，人工执行的最优步骤数约为 429 步。在最大操作步数限制为 10 的条件下，基线模型在遇到复杂步骤时普遍存在过度执行现象。而 OS-Kairos 更贴近人类的操作行为，其相对效率（RE）分别达到 86.42% 和 93.47%，显著优于基线，体现了其高效且稳健的交互能力。

3.2.2.3 置信度集成范式评估

表 5 对比了 OS-Kairos 与基于 prompt 的交互模型，结果显示 OS-Kairos 的交互机制显著优于 prompt 驱动范式，尤其在介入成功率（HSR）上超越了 prompt 模式下的 OS-Atlas-Pro-7B。尽管 GPT-4o 和 GLM-4V-Plus 具备较强的感知和定位能力，API 型 GUI Agent 仍表现出不稳定性，易出现过度执行，影响整体效果。在开源模型中，Qwen2-VL-7B 的表现相对更稳定，而 OS-Atlas-Pro-7B 在 prompt 模式下指令执行能力被严重干扰。

3.2.2.4 模型和数据分析

尽管基于 7B 模型构建，OS-Kairos 通过置信度评分与数据蒸馏，可有效迁移至 2B～7B 模型。在 Qwen2-VL-2B、4B 和 7B 上分别达到 85.09%、77.64% 和 76.40% 的 TSR，表现出良好的精度与兼容性，适用于资源受限环境部署。OS-Kairos 在不同数据规模下依然保持稳定表现，TSR 可达 76.19%～88.20%。即便使用少量探测数据，置信度机制也能有效支撑模型训练，成本远低于微调。

3.2.2.5 交互敏感度分析

OS-Kairos 通过调节置信度阈值 γ 实现自适应交互。消融实验表明，γ 提高可显著提升 TSR 和 SR，而 HSR 与操作准确率保持稳定，说明其能有效识别复杂步骤，减少过度执行。在 γ = 2 时，仅需 19% 的人工干预即可达到接近微调的效果，展现出良好的灵活性与实用性。

四、讨论与启示

4.1 主要发现总结

本研究通过全面的实验评估，得出了以下主要发现：

1.OS-Kairos 在多个数据集上显著优于 prompt-based 基线模型及微调模型，充分证明自适应交互机制对于提升 GUI Agent 任务完成的可靠性与鲁棒性具有关键作用。

2. 置信驱动交互高效稳定：OS-Kairos 能稳定区分何时需要干预，有效避免过度执行。

3. 真实设备测试表现优越：在移动设备上运行时，OS-Kairos TSR 达 32%（无干预）至 70%（有干预），远超现有开源和商用模型，接近 GPT-4o 的上限水平。

4. 模型规模与数据成本友好：置信度机制可迁移至 2B～7B 模型，在资源受限场景中依然保持 76% 以上的 TSR，仅需少量探测数据即可训练，成本远低于全量微调。

4.2 启示

4.2.1 对从业者的启示

1. 增强系统可靠性：置信度驱动的自适应交互机制可显著减少错误操作，提升系统在复杂真实场景中的稳定性与安全性。

2. 支持人机协作设计：通过动态决策是否请求用户干预，系统可灵活权衡自主性与可控性，适用于高风险任务如金融、医疗等场景。

4.2.2 对研究社区的启示

1. 拓展交互智能研究范式：本研究强调从 “全自主执行” 转向 “置信度引导下的自适应协作”，为多模态 GUI 智能体设计提供新思路。

2. 提出具迁移性的框架设计：验证了数据蒸馏与置信机制在不同模型规模下的一致性，鼓励发展轻量级、可推广的交互方法。

3. 推动标准评估体系更新：指出静态测试局限，倡导引入真实环境 + 交互能力评估的新标准，有助于更全面地衡量 GUI Agent 的实用性与可靠性。

4.3 批判性分析

1. 适用范围与可推广性：目前系统主要验证于移动 GUI 环境，对于桌面端、Web 端尚未进行测试，其泛化能力在更复杂的多模态交互系统中仍需验证。

2. 置信度分数：置信度分数是来自 Actor-Critic 探测架构下的 GPT-4o 给出，其准确性需要进一步验证。

五. 局限性与未来工作

5.1 局限性

1. 任务类型与应用场景有限：实验主要集中在移动端单任务 GUI 环境，对于桌面端、多窗口、Web 或混合界面等复杂交互形式尚未验证。

2. 依赖外部大模型评分：当前系统在训练与评估中使用 GPT-4o 作为置信度评分器，提升了标注质量，但其准确性需进一步优化。

3. 过度介入：OS-Kairos 通过置信度分数评估是否需要人类介入，但过度介入会影响 GUI Agent 的自动化。

5.2 未来工作

1. 实现模型内部置信度量化：当前置信度依赖外部模型，未来可探索在智能体内部实现置信度量化，提升推理效率与部署实用性。

2. 优化交互决策策略：为避免过度执行或频繁干预，可引入动态阈值或强化学习策略，实现更灵活、高效的人机协作控制。

3. 支持复杂任务与跨平台部署：推动模型在桌面端和 Web 平台的应用，增强其处理复杂任务和多模态语音输入的能力，提升泛化性与实用性。

#风浪越大“人”越贵！

Anthropic也被挖到肺管子了。。。

“二十一世纪什么最贵？人才！”——《天下无贼》，黎叔 

黎叔十几年前的这句感慨，如今在 AI 的世界里，正被用最疯狂、最昂贵的方式反复验证。

如果你觉得“用钱砸人”的剧情已经见怪不怪，那最近发生的事情可能会让你刷新认知。因为这场战争已经升级，从单纯的“挖人”，变成了“连根拔起”，甚至不惜对亲密的“盟友”釜底抽薪。

前脚，我们还在围观扎克伯格挥舞“1 亿美金年薪”的支票，把 OpenAI 的核心华人研究员团队几乎“一锅端”；后脚，这股“不讲武德”的旋风，就精准地登陆了另一家 AI 巨头—Anthropic 的总部。

如果说 OpenAI 被挖角，是竞争对手在正面战场上的公开叫阵；那么 Anthropic 这次的遭遇，则更像是被一个你深度信任、朝夕相处的“战友”在背后偷袭，刀口精准，直抵肺管。

接下来，奶茶就带着大家一起复盘一下 AI 圈这场愈演愈烈的挖人大戏。​

第一幕：“队友”的“背刺”，釜底抽薪式的战略打击

首先，让我们先理清主角的人物关系。

主角 A：Cursor，一个在开发者圈子里声名鹊起、被誉为“编程神器”的 AI 原生代码编辑器。它的野心，是彻底颠覆程序员写代码、读代码、修代码的全流程。

主角 B：Anthropic，AI 世界的另一极，由前 OpenAI 核心成员出走创立，手握可与 GPT-4 分庭抗礼的 Claude 系列大模型，是 AI 安全领域的旗手。

在这次事件之前，两家本是“你侬我侬”的亲密爱人。

Cursor 的许多强大功能，其智能的“大脑”，正是由 Anthropic 的 Claude 模型通过 API 提供的。一个顶尖的 AI 应用，一个强大的模型底座，本是“珠联璧合、共同富裕”的教科书式典范。

然而，商业世界里，温情脉脉的面纱随时可能被撕下，“背刺”来得猝不及防。

Cursor 直接聘请了 Anthropic“Claude Code”项目的两位灵魂人物：

• Boris Cherny，原 Claude Code 项目开发负责人，空降 Cursor 担任首席架构师兼工程主管。
• Cat Wu，原项目产品经理，出任 Cursor 的产品负责人。

简而言之地形容背刺的力度：研发大脑 + 产品心脏，一个项目的“左右心室”被瞬间摘除。

奶茶认为，这已经不是简单的“跳槽”了。首席架构师职位决定了一家科技公司未来 3-5 年的技术蓝图和根基，Cursor 这一手，等于把最了解 Anthropic 引擎（Claude Code）的人，请来为自己设计底盘。他知道这个引擎的全部优点、缺点、极限和潜力。

这一操作的战略意图昭然若揭：

Cursor 不满足于只做一个“调用 API”的“外壳应用”了，它要深入到最底层，把 AI 能力与开发环境“无缝熔合”，而实现这个野心的最佳捷径，就是把缔造这个 AI 能力的人，变成自己的人。

对于 Anthropic 来说，这不仅是核心人才的流失，更是核心技术理念和未来路线图的一次“硬泄露”。两家公司的合作关系，瞬间从“战略伙伴”滑向了“战略猜忌”的深渊。​

第二幕：“传教士 vs. 雇佣兵”，一场亿万美金下的灵魂拷问

让我们再看看另外一场“挖角”行为的“Meta-OpenAI 抢人大战”。

小扎开出的“四年三亿，首年一亿”（家人们注意，单位可是美金啊）的天价总包，像一颗核弹，彻底炸毁了硅谷原有的薪酬默契。

有 1 说 1 ，这个数字，让 NBA 超星巨詹姆斯的年薪（约 5000 万美金）都显得“勤俭持家”。

Meta 首席技术官 Andrew Bosworth 在上周与员工的问答环节中也提及到此事：

并非每个人都能拿到 1 亿美元的 offer。而且，1 亿美元不是签约奖金，而是所有这些不同东西的总和。

这种“不计成本”的虹吸效应是毁灭性的，直接导致了 OpenAI 近十名核心研究员的“闪电离职”。这份离职名单，读起来就像 AI 领域的“复仇者联盟”点名，也让我们看到华人在 AI 之巅的惊人实力：

• 毕树超 (浙大)：GPT-4o 语音模式、o4-mini 的共同创造者，离职前在 OpenAI 领导多模态后训练工作。
• 常惠雯 (清华姚班)：GPT-4o 图像生成的共同创造者。
• Ji Lin(清华)：o3/o4-mini, GPT-4o 等多个核心模型的构建以及 Operator 推理栈。
• 任泓宇 (北大)：GPT-4o、4o-mini、o1-mini、o3-mini、o3 和 o4-mini 的共同创造者，离职前在 OpenAI 领导后训练团队。
• Pei Sun (清华)：曾在谷歌 DeepMind 负责过 Gemini 的后训练、编码、推理工作，创建了 Waymo 的最后两代感知模型。
• 余家辉（中科大少年班）：o3、o4-mini、GPT-4.1 和 GPT-4o 的共同创造者，离职前在 OpenAI 领导感知团队。
• 赵晟佳（清华）：ChatGPT, GPT-4 等多个模型的共同创造者，离职前在 OpenAI 领导合成数据的工作。

此外，Meta 还把 OpenAI 的苏黎世办公室“一锅端”，ViT（Vision Transformer）的核心作者悉数加盟。

面对这种“钞能力”的降维打击，OpenAI 的 CEO 奥特曼显然是气急败坏，他回应一封在 OpenAI 内部流传的备忘录：

“传教士终将打败雇佣兵。” (Missionaries will eventually beat mercenaries.)

Meta 确实得到了几位优秀的人才，但总体而言，很难夸大他们未能获得顶尖人才，不得不从名单中相当靠后的位置选择；他们已经尝试招聘很长时间了，我记不清他们试图从我们这里挖走多少人来担任首席科学家。

我为整个行业的使命感感到自豪；当然，总会有些雇佣兵。

奥特曼这句话，自认为 OpenAI 站在了当前硅谷 AI 领域意识形态冲突中传教士的阵营：

• 传教士阵营（以 OpenAI 为代表）：我们正在从事一项改变人类未来的神圣事业（AGI），我们是理想主义者，我们的使命感是金钱无法衡量的。留在这里，你将名留青史。
• 雇佣兵阵营（以 Meta 为代表）：我们尊重梦想，但我们更尊重人才的价值。我们提供最顶级的薪酬和最无限的算力资源，让你心无旁骛地探索。在这里，你将财务自由。

OpenAI 的首席研究官马克·陈向员工表示，这感觉像：

有人闯入我们的家并偷走了东西。

在 OpenAI 的视角，这场战争是一场关于“信仰和灵魂”的争夺战。在亿万美金的支票面前，是坚守“改变世界”的初心，还是选择“让世界先改变自己”的现实？

然而，话说到这里，奶茶我却想问一句：当下的 OpenAI，真的还在那么纯粹地“改变世界”吗？

那个曾经承诺要将技术“开放”给全人类的非盈利实验室，和今天这个在商业化道路上狂奔、甚至因路线问题导致安全团队核心决裂的“AI 巨兽”，还完全是同一个“初心”吗？​

第三幕：挖角的终极目标——抢夺“设计哲学”

如果说 Meta 的挖角是“阳谋”，靠的是无法拒绝的金钱，那么 Cursor 对 Anthropic 的挖角，则更像是一次深思熟虑、直指未来的“智取”。

他们真正看中的，远不止 Boris Cherny 这个人，而是他所代表和缔造的、一种极其先进的“设计哲学”

Boris 本人曾对 Claude Code 做出过一个惊人的定义：

“与其说是一个产品，不如说是一个 Unix 工具。”

熟悉计算机科学的朋友都懂， Unix 哲学的精髓在于：KISS (Keep It Simple, Stupid)。

它不创造庞大臃肿的“万能应用”，而是提供一系列极简、专一、高效的小工具（如 grep, awk, cat），然后用“管道”将它们灵活地组合起来，以完成任何复杂得难以想象的任务。

这是一种关于“解构”与“重组”的智慧。

而 Anthropic 的产品原则，正是这种智慧的延伸：“先从最简单的做起”。他们用最朴素的文本 I/O、Markdown 文件去实现记忆、规划等复杂功能，追求的就是极致的简约、高效和可扩展性。

所以，Cursor 这次挖走的，根本不是一个简单的“工程师”。他们是把 Claude Code 背后那一整套“Unix-like”的、关于如何构建下一代 AI 原生工具的“思想钢印”和“方法论”给“打包”偷走了！

他们得到的不是一条更会游泳的鱼，而是那个掌握了“基因编辑”技术、能创造全新物种的生物学家。对于立志要重塑软件开发未来的 Cursor 而言，这套“设计哲学”远比多调用几个 API 要有价值得多。​

终章：欢迎来到“AI 超级联赛”时代

回顾这一切，黎叔那句“人才最贵”的感慨，似乎已经不足以形容眼前的盛况。

这已经不是传统意义上的“人才市场”了。这更像是一个全新的、规则正在被书写的“AI 职业天才联盟”：

• 豪门俱乐部：Meta、谷歌、OpenAI、Anthropic 等，就是手握千亿资本、如同皇马、巴萨一般的豪门俱乐部。
• 超级巨星：顶尖的 AI 研究员，就是梅西和 C 罗。他们的身价、年薪、以及“转会”意向，时刻牵动着整个行业的神经。
• 转会与签约：今天我们看到的是“1 亿年薪”的自由签约。不知道明天的我们能不能看到“为挖走某大牛，A 公司向 B 公司支付数千万美金转会费”的新闻，研究员的合同里，会不会出现“2 亿美金违约金”的条款。各大公司的 HR，会像球探一样，常驻全球顶级名校的计算机系，争夺下一个“天才少年”。

AI 领域猎头公司 Riviera Partners 合伙人 Kyle Langworthy 表示：

过去几年，这场人才争夺战的激烈程度已近乎疯狂，给人的感觉是，有些公司为了将人才招入麾下，愿意付出任何代价。

而数字是最好的证明。

根据科技猎头公司 Harrison Clarke 的数据，如今，科技大厂中高级别 AI 研究科学家的年度总薪酬包，已飙升至 50 万-200 万美元之间，远高于 2022 年的 40 万-90 万美元。相比之下，没有 AI 背景的高级软件工程师，其基础年薪通常在 18 万-22 万美元。

而且，这不仅仅是钱的问题，顶尖人才的选择，往往取决于一个“三位一体”的公式：

• Compensation (薪酬)：基础，是体现尊重的“价码”。
• Computation (算力)：真正的“稀缺资源”，扎克伯格在挖人时，除了支票，另一个核心承诺就是“不设限制的先进算力使用权”。对于研究员来说，这比黄金更有吸引力，因为它直接决定了他们产出成果的速度和高度。
• Culture & Colleagues(文化与同僚)：“跟谁一起做事”，这也是奥特曼“传教士”理论的核心——与一群志同道合的、全世界最聪明的人，在一个拥有独特使命和创新文化的“神奇摇篮”里，共同完成一件伟大的事。这种吸引力，同样是千金难换的。

在这场“AI 超级联赛”中，谁能组建最强的“银河战舰”？谁又能凭借独特的“俱乐部文化”留住人心？

好戏，才刚刚拉开序幕。