51c大模型~合集49

我自己的原文哦~      https://blog.51cto.com/whaosoft/11960038

#Illuminate

任意论文一键变播客，谷歌正式发布Illuminate，它能重构研究者的学习方式吗？

像听书一样「读」论文。

先来听一段英文播客，内容是不是很熟悉？

是的，这俩人就是在聊那篇《Attention is All You Need》。在 4 分半的对话里，他们介绍了论文的核心内容，一问一答，听上去相当自然。

播客原址：https://illuminate.google.com/home?pli=1&play=Pa5iGH1___bGy1

实际上，播客中对谈的双方都是 AI，生成这段四分钟音频内容的产品是 Illuminate，来自谷歌。

Illuminate 是一个将学术论文转化为人工智能生成的音频讨论的项目。已有用户晒出自己的试用结果，效果不错：

谷歌实验室在邀请用户尝试「前沿技术」方面有着悠久的历史。Illuminate 最早在今年五月的 Google I/O 大会上亮相，当时谷歌重点强调了自身大模型的多模态和长文本能力。但那时 Illuminate 只是一个私人测试版本。

显然，谷歌未必是第一个想出这个点子的公司，但却是第一个做出这个产品的公司：

当时 Illuminate 的宣传点是「按照自己的方式学习」。因为 Illuminate 可以使用 AI 将复杂的研究论文转化为引人入胜的音频对话，从而「重新构想学习」。

想法很简单：由谷歌的 LLM Gemini 生成论文摘要和问答，在引入两个人工智能生成的声音，一个男性采访者和一个女性专家，分工完成一个简短的采访，描述论文内容。

目前，在 Google Illuminate 网站上，已经能够收听到一些经典研究的播客样本。

这个产品在什么场景下用呢？

设想，你可以在运动或开车时「聆听」那些看不过来的新增研究论文核心内容。

同时，播客还可以很容易地调整为其他叙述形式，以适应不同的使用场景。

也许你想马上动手制作一期属于自己论文的播客，别急，让我们看看使用说明。

如何将论文一键转化为播客访谈？

打开 Illuminate，界面如下所示。需要注意的是，用户需先申请候选名单，通过审核后才能使用。

目前，Illuminate 针对已发表的关于计算机科学的论文进行了优化。

体验地址：https://illuminate.google.com/home

官方网站上列举了很多示例，我们以经典论文《Attention is All You Need》为例。首先，你可以查看原始论文，点击「View Source」直达论文，这样一来，用户既可以回顾论文内容，也可以根据播客音频进行学习。

接着点击「play」选项，在界面下方是生成的两个 AI 对话的访谈。这是 Illuminate 的关键部分，对话内容围绕研究展开。

我们还是以《Attention is All You Need》为例，对话过程涉及很多知识点，可能是你在读论文时没有注意到的，比如论文的核心概念是什么。生成的音频内容干货满满，会谈到「序列模型 RNN、LSTM， 这些模型在语言处理、翻译和文本摘要等任务中占据主导地位，但这些 RNN 在处理长序列时有明显的不足，因为它们需要一步步处理信息，这是一个重大限制。 

而这篇论文通过引入一种名为 Transformer 的模型来解决这个问题，该模型使用一种称为自注意力的机制，可以一次性处理整个序列，从而识别出哪些部分最相关…… Transformer 还引入了多头注意力机制，它不仅仅使用一个注意力机制，而是使用多个注意力头……」

听完整段对话，你对论内容会有一个重新的认识。

随着 Illuminate 的不断完善，以后遇到新论文，就可以先让 Illuminate 帮你做好预习，在之后的阅读过程中，就会轻松很多。

对于生成的音频内容，如果你没听清，可以后退数秒，也可以前进几秒，甚至还可以控制语速，0.5 倍、2 倍速都可以选择。

点击「share」按钮，你可以将播客内容分享到各个平台。

下面是我们将对话内容分享到 X。你不用编辑任何文本，分享的内容都是自动生成的。这样一来，其他人也可以点开链接进行查看、学习。

除了论文，Illuminate 处理一整本书也是可以的，官方网站上已经列举了很多名著，如《傲慢与偏见》《本杰明・富兰克林自传》等等。

不过，整体看下来，Illuminate 还是有些小缺点，比如生成的对话都是英文，音频不能下载，也没有相应的字幕。或许，不久的将来，我们会看到更加用户友好的 Illuminate。

#A Survey on Graph Neural Networks and Graph Transformers in Computer Vision: A Task-Oriented Perspective

计算机视觉中基于图神经网络和图Transformers的方法和最新进展

本篇综述工作已被《IEEE 模式分析与机器智能汇刊》（IEEE TPAMI）接收，作者来自三个团队：香港大学俞益洲教授与博士生陈超奇、周洪宇，香港中文大学（深圳）韩晓光教授与博士生吴毓双、许牧天，上海科技大学杨思蓓教授与硕士生戴启元。

近年来，由于在图表示学习（graph representation learning）和非网格数据（non-grid data）上的性能优势，基于图神经网络（Graph Neural Networks，GNN）的方法被广泛应用于不同问题并且显著推动了相关领域的进步，包括但不限于数据挖掘（例如，社交网络分析、推荐系统开发）、计算机视觉（例如，目标检测、点云处理）和自然语言处理（例如，关系提取、序列学习）。考虑到图神经网络已经取得了丰硕的成果，一篇全面且详细的综述可以帮助相关研究人员掌握近年来计算机视觉中基于图神经网络的方法的进展，以及从现有论文中总结经验和产生新的想法。可惜的是，我们发现由于图神经网络在计算机视觉中应用非常广泛，现有的综述文章往往在全面性或者时效性上存在不足，因此无法很好的帮助科研人员入门和熟悉相关领域的经典方法和最新进展。同时，如何合理地组织和呈现相关的方法和应用是一个不小的挑战。

论文标题：A Survey on Graph Neural Networks and Graph Transformers in Computer Vision: A Task-Oriented Perspective

论文地址：https://arxiv.org/abs/2209.13232（预印版）https://ieeexplore.ieee.org/document/10638815（IEEE 版）

尽管基于卷积神经网络（CNN）的方法在处理图像等规则网格上定义的输入数据方面表现出色，研究人员逐渐意识到，具有不规则拓扑的视觉信息对于表示学习至关重要，但尚未得到彻底研究。与具有内在连接和节点概念的自然图数据（如社交网络）相比，从规则网格数据构建图缺乏统一的原则且严重依赖于特定的领域知识。另一方面，某些视觉数据格式（例如点云和网格）并非在笛卡尔网格上定义的，并且涉及复杂的关系信息。因此，规则和不规则的视觉数据格式都将受益于拓扑结构和关系的探索，特别是对于具有挑战性的任务，例如理解复杂场景、从有限的经验中学习以及跨领域进行知识传递。

在计算机视觉领域，目前许多与 GNN 相关的研究都有以下两个目标之一：(1) GNN 和 CNN 主干的混合，以及 (2) 用于表示学习的纯 GNN 架构。前者通常旨在提高基于 CNN 的特征的远程建模能力，并适用于以前使用纯 CNN 架构解决的视觉任务，例如图像分类和语义分割。后者用作某些视觉数据格式（例如点云）的特征提取器。尽管取得了丰硕的进展，但仍然没有一篇综述能够系统、及时地回顾基于 GNN 的计算机视觉的发展情况。

在本文中，我们首先介绍了图神经网络的发展史和最新进展，包括最常用、最经典的图神经网络和图 Transformers。然后，我们以任务为导向对计算机视觉中基于图神经网络（包括图 Transformers）的方法和最新进展进行了全面且详细的调研。具体来说，我们根据输入数据的模态将图神经网络在计算机视觉中的应用大致划分为五类：自然图像（二维）、视频、视觉 + 语言、三维数据（例如，点云）以及医学影像。在每个类别中，我们再根据视觉任务的不同对方法和应用进一步分类。这种以任务为导向的分类法使我们能够研究不同的基于图神经网络的方法是如何处理每个任务的，以及较为公平地比较这些方法在不同数据集上的性能，在内容上我们同时还涵盖了基于 Transformers 的图神经网络方法。对于不同的任务，我们系统性地总结了其统一的数学表达，阐明了我们组织这些文章的逻辑关系，突出了该领域的关键挑战，展示了图神经网络在应对这些挑战的独特优势，并讨论了它的局限和未来发展路线。

图神经网络发展史

GNN 最初以循环 GNN 的形式发展，用于从有向无环图中提取节点表示。随着研究的发展，GNN 逐渐扩展到更多类型的图结构，如循环图和无向图。受到深度学习中 CNN 的启发，研究人员开发了将卷积概念推广到图域的方法，主要包括基于频域的方法和基于空域的方法。频域方法依赖于图的拉普拉斯谱来定义图卷积，而空域方法则通过聚合节点邻居的信息来实现图卷积。这些方法为处理复杂的图结构和不规则拓扑提供了有效的工具，极大地推动了 GNN 在多个领域，尤其是计算机视觉中的应用和发展。

具体来说，我们详尽地调查了如下这些任务：

• 建立在自然图像（二维）上的视觉任务包括 Image Classification (multi-label、few-shot、zero-shot、transfer learning)，Object Detection，Semantic Segmentation，和 Scene Graph Generation。
• 建立在视频上的视觉任务包括 Video Action Recognition，Temporal Action Localization，Multi-Object Tracking，Human Motion Prediction，和 Trajectory Prediction。
• 视觉 + 语言方向的任务包括 Visual Question Answering，Visual Grounding，Image Captioning，Image-Text Matching，和 Vision-Language Navigation。
• 建立在三维数据上的视觉任务包括 3D Representation Learning (Point Clouds、Meshes)，3D Understanding (Point Cloud Segmentation、3D Object Detection、3D Visual Grounding)，和 3D Generation (Point Cloud Completion、3D Data Denoising、3D Reconstruction)。
• 建立在医学影像上的任务包括 Brain Activity Investigation，Disease Diagnosis (Brain Diseases、Chest Diseases)，Anatomy Segmentation (Brain Surfaces、Vessels、etc)。

总结来说，尽管在感知领域取得了突破性的进展，如何赋予深度学习模型推理能力仍然是现代计算机视觉系统面临的巨大挑战。在这方面，图神经网络和图 Transformers 在处理 “关系” 任务方面表现出了显著的灵活性和优越性。为此，我们从面向任务的角度首次对计算机视觉中的图神经网络和图 Transformers 进行了全面的综述。各种经典和最新的算法根据输入数据的模态（如图像、视频和点云）分为五类。通过系统地整理每个任务的方法，我们希望本综述能够为未来的更多进展提供启示。通过讨论关键的创新、局限性和潜在的研究方向，我们希望读者能够获得新的见解，并朝着类似人类的视觉理解迈进一步。

#腾讯大模型的「实用」路线

我们看到了企业应用AI的新方向

「现在每家公司都是 AI 公司，但引入 AI 之后，利润真的能提高吗？」

在针对 Transformer 作者、Cohere CEO Aidan Gomez 的一次采访中，播客主持人 Harry Stebbings 问出了这样一个问题。

Stebbings 提到，现在很多公司都在往产品中引入 AI，比如提供客户支持的 Zendesk、笔记记录软件 Notion、提供设计服务的 Canva…… 但是选择维持产品价格不变的 Canva 等公司却担心，自己的利润不升反降，因为他们现在要为每个查询付出更高的成本。Canva 甚至在最近的节目中直言不讳地表示，他们的利润正在压缩。

对于这一问题，Gomez 提到，其实企业不必过于担心，因为 AI 的成本正在迅速下降，在提升客户体验的同时维持产品价格不变会是一个不错的选择，有利于扩大企业的用户基数。

如果观察一下国内外的 AI 市场，我们会发现 Aidan Gomez 的预测是有依据的。很多 AI 公司，尤其是技术实力雄厚的大厂，都在通过技术升级来降低模型成本、提高模型可用性，从而让企业以更低的门槛使用 AI。

在国内，腾讯混元大模型走的就是这样一条路线。这个从亮相时就强调「实用」标签的大模型一直在持续进化。在刚刚过去的腾讯全球数字生态大会上，我们不仅看到了训练、推理效率提升 1 倍多，但推理成本降低 50% 的新模型混元 Turbo，还看到了升级版的大模型知识引擎、图像创作引擎、视频创作引擎等大模型产品。

对于那些还在怀疑自己是否有能力引入 AI，以及引入 AI 之后能否保住利润的企业来说，这些高性价比的模型以及低门槛、易用的大模型产品或许可以提供一个答案。

距 GPT-4o 仅 1.29%

混元 Turbo 拿下国内第一，价格还降了一半

效率提升，但成本不升反降的混元 Turbo 听上去似乎很有吸引力，但模型质量怎么样呢？第三方中文大模型基准测评机构 SuperCLUE 发布的《中文大模型基准测评 2024 年 8 月报告》提供了一个客观的参考。

这个报告聚焦通用能力测评，测评方案由理科、文科和 Hard 三大维度构成。理科能力包括计算、逻辑推理和代码能力；文科任务覆盖知识百科、语言理解、长文本、角色扮演、生成与创作、安全和工具使用；Hard 任务则侧重于精确指令遵循以及复杂任务高阶推理。

报告显示，混元 Turbo 在理科、文科均居于第一名，在 Hard 任务上表现也相当出色，是国内唯一超过 70 分的大模型，仅与 ChatGPT-4o 有微小差距。

腾讯混元在 8 项核心任务上排名国内第一。

更重要的是，在这个模型发布后，国内 TOP 1 大模型在中文领域的通用能力与国外领先模型的差距缩小到了 1.29%（总分相差 1 分左右）。而去年 5 月，这一数字还高达 30.12%。

所以，单从性能上来看，混元 Turbo 是可以满足很多企业对模型能力的高要求的。

那训练、推理效率提升超过 1 倍，推理部署成本下降 50% 是怎么做到的呢？简单总结就是：技术创新。

混元技术团队介绍说，相较于上一代混元 Pro MoE 大模型，Turbo 模型在数据优化之外自研了全新的万亿级分层异构 MoE 结构，在模型不同层采用不同的专家个数和不同的激活参数量，最终用更多的专家数、更少的激活参数量实现了更好的效果。

混元 Turbo 推理速度对比前代有明显提升。

这样的技术创新创造了更多的让利空间，使得混元 Turbo 的定价（输入和输出价格）仅为混元 Pro 版的一半。目前，该模型已经在腾讯云上线，企业和开发者可以通过 API 接入。

此外，腾讯混元的技术团队还在研究中发现，其实 MoE 架构不只适用于语言模型，用来构建多模态大模型也是最佳选择，因为它能够更好地兼容更多模态和任务，确保不同模态和任务之间是互相促进而非竞争的关系。

按照这个思路，他们构建了国内首个基于 MoE 架构的多模态大模型，而且以简单、合理、可规模化的原则来设计这个模型。比如，该模型支持原生任意分辨率，最高可支持的分辨率达到 7K，而不是采用业界主流的固定分辨率或切子图方法。此外，它采用的简单 MLP 适配器也能比主流的 Q-former 适配器损失更少的信息。这些实用的升级无疑是在为进入产业应用场景做好充分的准备。

腾讯混元多模态大模型是业内首个支持超过 7K 分辨率和任意长宽比图片理解的多模态模型。

模型之外，产品实用性也升级到 Next Level

「模型本身不是完整的产品，要搭很多能力。用户要用得爽，不是简单的『模型吐东西』。」在前段时间的一次采访中，腾讯集团高级执行副总裁、云与智慧产业事业群 CEO 汤道生分享了这样一个观点。

基于这种认知，腾讯云其实不止打造了腾讯混元系列大模型，还围绕这个大模型打磨了一系列精调工具链（基于 TI 平台）和开箱即用的产品，包括大模型知识引擎、图像创作引擎、视频创作引擎等。

这些工具链、产品看似分散，其实组合到一起能解决很多问题。

就拿要求最苛刻的医疗场景来说。当下，很多人吐槽医生人心冷漠 —— 病人背着大包小包、坐了十几个小时火车去看病，结果只能跟医生沟通五分钟，失落的心情可想而知。

但其实，医生也很无奈，尤其是负责重症病人的医生。因为他们每天要花大量时间去理清多维度、连续变化的患者数据，还要书写病历和病程记录，分不出时间和精力去精细化地关怀每个病人。

为了解决这一问题，为重症医疗提供器械和解决方案的迈瑞医疗和腾讯一起打造了首个重症大模型瑞智 GPT，并基于该模型开发了「病历撰写、患者个体化病情查询、重症知识检索」三个面向重症科室的大模型智能应用。

这些应用可以帮助医生灵活查询患者的病情变化、自动撰写病历，还能为低年资医生提供高年资医生的重症知识和诊疗建议，极大地降低了医生解读大量连续变化的临床数据的难度，缓解了撰写病历和病程记录的工作负担。

这个解决方案要打通医院的病历、生理参数、医学影像、检验、护理、医嘱等多个数据接口，还要把这些数据充分利用起来，因此涉及腾讯为行业打造的多个工具和产品。

比如数据准备环节要用到数据清洗、标注等多项 TI 平台上的能力，病历的识别、数据的检索离不开知识引擎中的 OCR 识别、语义切分、RAG、复杂表格处理等子能力（关于知识引擎，请参见《大模型进入「实用」时代！腾讯助力「销冠」量产，5 分钟创建智能助手》）。

在生态大会上，这些工具链、产品也迎来了新一轮升级，在「实用」维度上又上了一个台阶。

其中，TI 平台上线了多模态数据标注，支持文生文、图生文、图文改写、图文混合问答等全部细分任务类型。高质量的训练数据是精调出一个可落地大模型的前提条件。TI 平台的多模态数据集管理和数据标注能力，可大幅提升数据准备效率，提升最终效果。此外，针对 OCR 和工业质检等相对成熟且使用广泛的垂直场景，TI 平台也进行了升级，比如可智能反馈出模糊、反光等场景下的误识别，可实现超复杂场景「0 漏检」等。

TI 平台的多模态数据标注功能。

知识引擎在用户需求识别与理解、企业知识处理等能力上都有很大的升级。比如，技术团队综合运用向量检索、摘要检索、text2sql 多种技术手段，显著提升了复杂大表的检索及问答准确率。同时，他们升级了多模态知识解析、检索、阅读理解能力，实现读懂文中的「数据图」、「自然场景图」、「图文关系」。

，时长01:48

知识引擎的复杂大表检索及问答准确率显著提升。

图像创作引擎的图像风格化通过算法升级大幅降低了人脸瑕疵；AI 写真实现了免训练技术突破，支持输入一张照片，一键生成高清写真艺术照，整体出图耗时缩短 75%；商品背景生成的背景画面真实度、商品分割细腻度、实物融合自然度大幅提升；模特换装场景采用 3D 先验方案，提升了重建人像效果。

图像创作引擎生成的风格化图像。

图像创作引擎生成的高清 AI 写真照。

图像创作引擎生成的商品背景图，实现了商品在不同场景的逼真效果展示。

图像创作引擎生成的模特换装图，高度保持了模特脸部和手部的细节，同时精确地将服装版型与模特身体特征对齐，确保换装后的效果逼真自然，能直接用于电商等生产场景。

视频创作引擎新增了图片跳舞、图片唱演和视频转译等能力。其中，在图片跳舞中，单段舞蹈的生成时间从 10 分钟下降至 1 分钟级别，同时支持转身、侧身等复杂舞蹈动作。图片唱演可以支持一张人像图片生成一段唱演视频。视频转译支持 15 + 小语种，覆盖主流外语翻译，可应用于视频本地化、跨境电商等场景。

人物跳舞自然度的提升得益于技术团队基于 3D 身体重建技术进一步优化了算法，画面的真实度和自然度也有了明显提升。

，时长00:29

唱演视频生成的人物的面部表情和情绪演绎都更加自然灵动。

，时长00:32

转译后的视频能够保留说话人的音色特征，同时实现说话人口型与目标语种一致的视听效果。

引入最强 AI，做最有用的产品

回到文章开头的问题 —— 企业引入 AI 真的是一个具有经济效益的选择吗？在生态大会现场，易车研发平台部总经理孙佑时分享了他们的经验。

就拿看车这个常见的场景来说。以往，用户线上看车基本就是打开图片或录制好的视频，被动听里面的讲解，缺乏现场看车的沉浸感。为了解决这个问题，易车和腾讯合作，基于内置在 TI 平台的大模型，使用大模型精调工具链，精调训练出「易车大模型」。这个大模型能为用户提供 3D 看车、AI 解读、AI 对比问答和 AI 搜索等服务，增强了用户获取信息的效率。据统计，这些功能上线后，用户的停留时长有了 大幅提升。

此外，我们看到，已经引入 AI 的企业也已经在下一个维度开卷。比如前文提到的 Zendesk 改变了传统的 SaaS 收费模式，提出只有在聊天机器人独立完成任务、不需要员工介入时，才会向企业收费。相信这会给还未引入 AI 或者引入的 AI 不够强的同行造成一些压力。

正如 Gomez 所说，如果你想扩大用户群体，那就为他们提供目前最有用的产品。一旦用户体验提升，利润自然就会随之而来。更何况，AI 的成本确实在下降，能做的事情也越来越多。

而且，除了经济效益，引入 AI 所带来的社会价值是短期内难以衡量的，正如迈瑞医疗所做的事情一样。

当然，这件事做起来没有那么容易，腾讯也是处在摸索阶段。他们深知，「要搭建一套有用的智能系统，大模型可能只是其中一个模块。」所以他们向着「开箱即用」的方向打磨大模型相关产品，致力于让企业以最小的必要输入来获得最佳的大模型应用实践。与此同时，他们也在从内部产品和外部客户业务中努力找场景，让技术和产品解决真问题。

大模型的未来也是一样，技术仍然在持续迭代，而价值的产生一定是在真实的落地场景中。

#Scalling Law并非一成不变

10人团队融了10亿美元，Ilya最新访谈

公司刚10人，种子轮融资就融了10亿美元。 

这种惊掉人下巴的事儿，也只有发生Ilya Sutskever身上，才稍显“正常”。

Ilya，在大模型席卷全球的当下，他的贡献被公认为达到了改变世界的级别：

他是AlexNet三位作者之一，和恩师Hinton一起被挖到谷歌之后，又深度参与了震惊世界的AlphaGo项目。

2015年，他参与了OpenAI的创立，出任首席科学家。ChatGPT再次改变世界，他被认为是背后最关键的人物之一。

从去年11月至今，Ilya的一举一动更是被推到台前，受到全球科技圈的瞩目：

由他发动的OpenAI董事会内讧揭开大模型发展路线之争，而他在今年5月与OpenAI彻底分道扬镳之后，所有人都在等待他的下一步创业动向。

现在，尘埃初定。一向低调的Ilya本人，也在这个时间点上，同外界分享了更多有关他的公司SSI，以及他本人对AGI思考的信息。

在与路透社的交流中，Ilya回答了关键的6个问题。以下，原文奉上：

为什么创立SSI？

我们已经发现了一座与我之前的工作有些不同的“大山”……一旦你登上这座山的顶峰，范式就会改变……我们所知的关于人工智能的一切都将再次改变。

到那时，超级智能安全工作会变得非常关键。

我们的第一个产品将会是安全的超级智能。

在超级智能之前，会发布和人类一样智能的AI吗？

我认为关键在于：它是否安全？它是否是世界上一股向善的力量？我认为，当我们做到这一点时，世界将会发生很大的变化。因此现在就给出“我们将要做什么”的明确计划是相当困难的。

我可以告诉你的是，世界将会变得非常不同。外界对AI领域正在发生的事情的看法将会发生巨大变化，并且很难理解。这将是一场更加激烈的对话。这可能不仅取决于我们的决定。

SSI如何判定何为安全的人工智能？

要回答这个问题，我们需要开展一些重要的研究。特别是如果你和我们一样，认为事情会发生很大变化……很多伟大的想法正在被发现。

很多人都在思考，当AI变得更加强大时，需要对其采取哪些测试？这有点棘手，还有很多研究要做。

我不想说现在已经有了明确的答案。但这是我们要弄清楚的事情之一。

关于尺度假设和AI安全

每个人都在说“尺度假设”，但每个人都忽略了一个问题：我们在scaling什么？

过去十年深度学习的巨大突破，是一个关于尺度假设的特定公式。但它会改变……随着它的改变，系统的能力将会增强，安全问题将变得最为紧迫，这就是我们需要解决的问题。

SSI会开源吗？

目前，所有人工智能公司都没有开源他们的主要工作，我们也是如此。但我觉得，取决于某些因素，会有很多机会去开源超级智能安全工作。也许不是全部，但肯定会有一些。

对其他AI公司安全研究工作的看法

实际上，我对业界有很高的评价。我认为，随着人们继续取得进展，所有公司都会意识到——可能是在不同的时间点——他们所面临的挑战的本质。因此，我们并不是认为其他人都做不到，而是说，我们认为我们可以做出贡献。

10亿美元用来干什么

最后，补充一些Ilya话外的背景信息。

SSI的消息最早在今年6月释出，目标很明确，搞Ilya在OpenAI没干成的事：构建安全超级智能。

目前SSI只有10名员工，融完资后，计划利用这笔资金买算力并聘请顶尖人才——

认同他们的理念，已经做好AI有一天会超越人类智能的心理准备的那种。

联合创始人Daniel Gross还透露，他们并不过分看重资历和经验，反而会花好几个小时审查候选人是否具有“良好的品格”。

算力方面，SSI计划和云厂商及芯片公司开展合作，具体和哪些公司合作、怎么合作尚未明确。

除了Ilya本人之外，SSI的联创还有Daniel Gross和Daniel Levy。

△左：Daniel Gross；右：Daniel Levy

Daniel Gross毕业于哈佛大学计算机系，此前也是Y Combinator的合伙人之一，也曾创办或参与创办了多家公司，包括Citrus Lane、WriteLaTeX（后更名为Overleaf）等。

他被《时代100》杂志列为“人工智能领域最具影响力的人物”之一。

Daniel Levy则毕业于斯坦福计算机系，此前是OpenAI优化团队的负责人。

#SAM2Point

大模型继续发力！首次实现任意3D场景+任意Prompt

文章链接：https://arxiv.org/pdf/2408.16768

在线Demo: https://huggingface.co/spaces/ZiyuG/SAM2Point

Code链接：https://github.com/ZiyuGuo99/SAM2Point

图 1 SAM2POINT的分割范式

重点概述：

1.无需投影到2D的SAM 2分割方案：SAM2POINT 通过将 3D 数据体素化为视频格式，避免了复杂的 2D至3D 的投影，实现了高效的零样本 3D 分割，同时保留了丰富的空间信息。

2.支持任意用户提示（Prompt）：该方法支持 3D 点、3D框和Mask三种提示类型，实现了灵活的交互式分割, 增强了 3D 分割的精确度和适应性。

3.泛化任何3D场景：SAM2POINT 在多种 3D 场景中表现出优越的泛化能力，包括单个物体、室内场景、室外场景和原始 LiDAR 数据, 显示了良好的跨领域转移能力。

SAM2POINT，是3D可提示分割领域的初步探索，将 Segment Anything Model 2（SAM 2）适配于零样本和可提示的3D分割。SAM2POINT 将任何 3D 数据解释为一系列多方向视频，并利用 SAM2 进行3D空间分割，无需进一步训练或 2D至3D 投影。SAM2POINT框架支持多种提示类型，包括 3D 点、 3D框和3D Mask，并且可以在多种不同场景中进行泛化，例如 3D 单个物体、室内场景、室外场景和原始激光雷达数据（ LiDAR）。在多个3D 数据集上的演示，如 Objaverse、S3DIS、ScanNet、Semantic3D 和 KITTI，突出了 SAM2POINT 的强大泛化能力。据我们所知，这是SAM在3D中最忠实的实现，可能为未来可提示的3D分割研究提供一个起点。

SAM2Point的动机与方法创新

Segment Anything Model（SAM）已经建立了一个卓越且基础的交互式图像分割框架。基于其强大的迁移能力，后续研究将SAM扩展到多样的视觉领域，例如个性化物体、医学影像和时间序列。更近期的Segment Anything Model 2（SAM 2）提出了在视频场景中的印象深刻的分割能力，捕捉复杂的现实世界动态。

表 1：SAM2POINT与以往基于SAM的3D分割方法的比较。SAM2POINT是SAM在3D中最忠实的实现，展示了在3D分割中的卓越实施效率、可提示的灵活性和泛化能力。

尽管如此，如何有效地将SAM适应于3D分割仍然是一个未解决的挑战。表1列举了前期工作的主要问题，这些问题阻碍了充分利用SAM的优势：

2D到3D投影的效率低。 考虑到2D和3D之间的领域差距，大多数现有工作将3D数据表示为其2D对应输入给SAM，并将分割结果反向投影到3D空间，例如使用额外的RGB图像、多视图渲染或神经辐射场。这种模态转换引入了显著的处理复杂性，阻碍了有效的实施。

3D空间信息的退化。 依赖2D投影导致了精细的3D几何形态和语义的丢失，多视图数据常常无法保留空间关系。此外，3D物体的内部结构不能被2D图像充分捕获，显著限制了分割精度。

提示灵活性的丧失。 SAM的一个引人注目的优点是通过各种提示替代品的交互能力。不幸的是，这些功能在当前方法中大多被忽视，因为用户难以使用2D表示来精确指定3D位置。因此，SAM通常用于在整个多视图图像中进行密集分割，从而牺牲了交互性。

有限的领域迁移能力。 现有的2D-3D投影技术通常是为特定的3D场景量身定制的，严重依赖于领域内的模式。这使得它们难以应用于新的环境，例如从物体到场景或从室内到室外环境。另一个研究方向旨在从头开始训练一个可提示的3D网络。虽然绕过了2D投影的需要，但它需要大量的训练和数据资源，可能仍受训练数据分布的限制。

相比之下，SAM2POINT将SAM 2适应于高效、无投影、可提示和零样本的3D分割。 作为这一方向的初步步骤，SAM2POINT的目标不在于突破性能极限，而是展示SAM在多种环境中实现强大且有效的3D分割的潜力。

效果展示

图2-图7展示了 SAM2POINT 在使用不同 3D 提示对不同数据集进行 3D 数据分割的演示，其中3D提示用红色表示，分割结果用绿色表示：

图2 使用SAM2POINT在Objaverse数据集上进行3D物体分割

图3 使用SAM2POINT在S3DIS数据集上进行3D室内场景分割

图4 使用SAM2POINT在ScanNet数据集上进行3D室内场景分割

图5 使用SAM2POINT在Semantic3D数据集上进行3D室外场景分割

图 6使用SAM2POINT在KITTI上进行3D原始激光雷达数据分割

SAM2Point的3D物体的多方向视频：

SAM2Point的3D室内场景多方向视频:

SAM2Point的3D室外场景多方向视频：

SAM2Point的3D原始激光雷达的多方向视频:

SAM2POINT方法详述

SAM2POINT 的详细方法如下图所示。下面介绍了 SAM2POINT 如何高效地处理 3D 数据以适配 SAM 2, 从而避免复杂的投影过程。接下来, 以及详细说明了支持的三种 3D 提示类型及其相关的分割技术。最后, 展示了 SAM2POINT 有效解决的四种具有挑战性的 3D 场景。

图8 SAM2POINT的具体方法

3D 数据作为视频

对于任何物体级或场景级的点云, 用  表示, 每个点为  。本文的目标是将 

通过这种方式, 获得了 3D 输入的体素化表示, 记作 , 每个体素为  。为了简化,  值根据距离体素中心最近的点设置。这种格式与形状为 

可提示分割

为了实现灵活的交互性, SAM2POINT 支持三种类型的 3D 提示, 这些提示可以单独或联合使用。以下详细说明提示和分割细节:

• 3D 点提示, 记作  。首先将  视为 3D 空间中的针点, 以定义三个正交的 2D 截面。从这些截面开始, 我们沿六个空间方向将 3D 体素分为六个子部分, 即前、后、左、右、上和下。接着, 我们将它们视为六个不同的视频，其中截面作为第一帧， 
• 3D 框提示, 记作 ，包括 3D 中心坐标和尺寸。我们采用  的几何中心作为针点，并按照上述方法将 3D 体素表示为六个不同的视频。对于某一方向的视频, 我们将  投影到相应的 2D 截面，作为分割的框点。我们还支持具有旋转角度的 3D 框，例如  ，对于这种情况，采用投影后的 
• 3D mask提示，记作，其中 1 或 0 表示mask区域和非mask区域。使用mask提示的质心作为锚点，同样将3D空间分为六个视频。3D mask提示与每个截面的交集被用作 2D mask提示进行分割。这种提示方式也可以作为后期精炼步骤, 以提高先前预测的 3D mask的准确性。

任意3D场景

通过简洁的框架设计，SAM2POINT在不同领域表现出卓越的零样本泛化性能，涵盖从物体到场景，从室内到室外环境。以下详细介绍四种不同的 3D 场景:

• 3D 单个物体, 如 Objaverse, 拥有广泛的类别， 具有不同实例的独特特征, 包括颜色、形状和几何结构。对象的相邻组件可能会重叠、遮挡或与彼此融合, 这要求模型准确识别细微差别以进行部分分割。
• 3D室内场景, 如 S3DIS和 ScanNet, 通常以多个物体在有限空间内（如房间）排列的特点为主。复杂的空间布局、外观相似性以及物体之间不同的方向性，为模型从背景中分割物体带来挑战。
• 3D 室外场景, 如 Semantic3D, 与室内场景主要不同在于物体（建筑、车辆和人）之间的明显大小对比以及点云的更大规模（从一个房间到整条街道）。这些变化使得无论是全局还是细粒度层面的物体分割都变得复杂。
• 原始激光雷达数据（LIDAR）, 例如用于自动驾驶的KITTI（Geiger等人，2012），与典型点云不同，其特点是稀疏分布和缺乏RGB信息。稀疏性要求模型推断缺失的语义以理解场景，而缺乏颜色则强迫模型只依靠几何线索来区分物体。在SAM2POINT中，我们直接根据激光雷达的强度设置3D体素的RGB值。

讨论与洞察

基于SAM2POINT的有效性，文章深入探讨了3D领域中两个引人注目但具有挑战性的问题，并分享了作者对未来多模态学习的见解。

如何将2D基础模型适应到3D?

大规模高质量数据的可用性显著促进了语言和视觉-语言领域大型模型的发展。相比之下，3D领域长期以来一直面临数据匮乏的问题，这阻碍了大型3D模型的训练。因此，研究人员转而尝试将预训练的2D模型转移到3D中。

主要挑战在于桥接2D和3D之间的模态差距。如PointCLIP V1及其V2版本和后续方法等开创性方法，将3D数据投影成多视角图像，这遇到了实施效率低和信息丢失的问题。另一条研究线，包括ULIP系列、I2P-MAE及其他，采用了使用2D-3D配对数据的知识蒸馏。虽然这种方法由于广泛的训练通常表现更好，但在非域场景中的3D迁移能力有限。

近期的努力还探索了更复杂且成本更高的解决方案，例如联合多模态空间（例如Point-Bind & Point-LLM），大规模预训练（Uni3D）和虚拟投影技术（Any2Point）。

从SAM2POINT我们观察到，通过体素化将3D数据表示为视频可能提供了一个最佳解决方案，提供了性能和效率之间的平衡折衷。这种方法不仅以简单的转换保留了3D空间中固有的空间几何形状，还呈现了一种2D模型可以直接处理的基于网格的数据格式。尽管如此，仍需要进一步的实验来验证并加强这一观察。

SAM2POINT在3D领域的潜力是什么？

SAM2POINT展示了SAM在3D中最准确和全面的实现，成功继承了其实施效率、可提示的灵活性和泛化能力。虽然之前基于SAM的方法已经实现了3D分割，但它们在可扩展性和迁移到其他3D任务的能力方面往往表现不足。相比之下，受到2D领域SAM的启发，SAM2POINT展现了推进各种3D应用的重大潜力。

对于基本的3D理解，SAM2POINT可以作为一个统一的初始化主干，进一步微调，同时为3D物体、室内场景、室外场景和原始激光雷达提供强大的3D表示。在训练大型3D模型的背景下，SAM2POINT可以作为自动数据标注工具，通过在不同场景中生成大规模分割标签来缓解数据稀缺问题。对于3D和语言视觉学习，SAM2POINT天生提供了一个跨2D、3D和视频领域的联合嵌入空间，由于其零样本能力，这可能进一步增强模型的效果，如Point-Bind。此外，在开发3D大语言模型（LLMs）的过程中，SAM2POINT可以作为一个强大的3D编码器，为LLMs提供3D Tokens，并利用其可提示的特征为LLMs装备可提示的指令遵循能力。

总结

SAM2Point, 利用 Segment Anything 2 (SAM 2) 实现了零样本和可提示的3D分割框架。通过将 3D 数据表示为多方向视频, SAM2POINT 支持多种类型的用户提供的提示 (3D 点、3D框和3D mask), 并在多种 3D 场景（3D 单个物体、室内场景、室外场景和原始稀疏激光雷达）中展现出强大的泛化能力。作为一项初步探索，SAM2POINT为有效和高效地适应SAM 2以理解3D提供了独特的见解。希望SAM2Point能成为可提示3D分割的基础基准，鼓励进一步的研究，以充分利用SAM 2在3D领域的潜力。

#A Survey on Self-play Methods in Reinforcement Learning

清华、北大等发布Self-Play强化学习最新综述

本文作者来自于清华大学电子工程系，北京大学人工智能研究院、第四范式、腾讯和清华-伯克利深圳学院。其中第一作者张瑞泽为清华大学硕士，主要研究方向为博弈算法。通讯作者为清华大学电子工程系汪玉教授、于超博后和第四范式研究员黄世宇博士。

自博弈（self-play）指的是智能体通过与自身副本或历史版本进行博弈而进行演化的方法，近年来在强化学习领域受到广泛重视。这篇综述首先梳理了自博弈的基本背景，包括多智能体强化学习框架和博弈论的基础知识。随后，提出了一个统一的自博弈算法框架，并在此框架下对现有的自博弈算法进行了分类和对比。此外，通过展示自博弈在多种场景下的应用，架起了理论与实践之间的桥梁。文章最后总结了自博弈面临的开放性挑战，并探讨了未来研究方向。

• 论文题目：A Survey on Self-play Methods in Reinforcement Learning
• 研究机构：清华大学电子工程系、北京大学人工智能研究院、第四范式、腾讯、清华-伯克利深圳学院
• 论文链接：https://arxiv.org/abs/2408.01072

引言

强化学习（Reinforcement Learning，RL）是机器学习中的一个重要范式，旨在通过与环境的交互不断优化策略。基本问题建模是基于马尔可夫决策过程（Markov decision process，MDP），智能体通过观察状态、根据策略执行动作、接收相应的奖励并转换到下一个状态。最终目标是找到能最大化期望累计奖励的最优策略。

自博弈（self-play）通过与自身副本或过去版本进行交互，从而实现更加稳定的策略学习过程。自博弈在围棋、国际象棋、扑克以及游戏等领域都取得了一系列的成功应用。在这些场景中，通过自博弈训练得到了超越人类专家的策略。尽管自博弈应用广泛，但它也伴随着一些局限性，例如可能收敛到次优策略以及显著的计算资源需求等。

本综述组织架构如下：首先，背景部分介绍了强化学习框架和基础的博弈论概念。其次，在算法部分提出了一个统一的框架，并根据该框架将现有的自博弈算法分为四类，进行系统的比较和分析。在之后的应用部分中，展示自博弈具体如何应用到具体的复杂博弈场景。最后，进一步讨论了自博弈中的开放问题和未来的研究方向，并进行总结。

背景

该部分分别介绍了强化学习框架以及博弈论基本知识。强化学习框架我们考虑最一般的形式：部分可观察的马尔可夫博弈（partially observable Markov game, POMGs），即多智能体场景，且其中每个智能体无法完全获取环境的全部状态。

博弈论基础知识介绍了博弈具体类型，包括（非）完美信息博弈和（非）完全信息博弈、标准型博弈和扩展型博弈、传递性博弈和非传递性博弈、阶段博弈和重复博弈、团队博弈等。同样也介绍了博弈论框架重要概念包括最佳回应（Best responce, BR）和纳什均衡 (Nash equilibrium, NE）等。

复杂的博弈场景分析通常采用更高层次的抽象，即元博弈（meta-game）。元博弈关注的不再是单独的动作，而是更高层的复杂策略。在这种高层次抽象下，复杂博弈场景可以看作是特殊的标准型博弈，策略集合由复杂策略组成。元策略（meta-strategies）是对策略集合中的复杂策略进行概率分配的混合策略。

在该部分最后，我们介绍了多种常用的自博弈评估指标，包括 Nash convergence（NASHCONV）、Elo、Glicko、Whole-History Rating（WHR） 和 TrueSkill。

算法

我们定义了一个统一的自博弈框架，并将自博弈算法分为四大类：传统自博弈算法、PSRO 系列算法、基于持续训练的系列算法和后悔最小化系列算法。

算法框架

首先，该框架（算法1）的输入定义如下：

● : 在策略集合  中，每个策略  都取决于一个策略条件函数 。

● : 策略集合的交互矩阵。 描述了如何为策略  采样对手。例如， 可以用每个对手策略采样概率表示（此时  如下图所示）。

● : 元策略求解器（Meta Strategy Solver，MSS）。输入是表现矩阵 ，并生成一个新的交互矩阵  作为输出。 表示策略  的表现水平。

该框架（算法1）的核心步骤说明：

● 算法1伪代码第1行： 表示整个策略集合的总训练轮数，也即策略池中每个策略的更新次数。

● 算法1伪代码第3行：各个策略初始化可以选择随机初始化、预训练模型初始化或者是继承之前训练完成的策略进行初始化。

● 算法1伪代码第4行：可以选用不同的 ORACLE 算法得到训练策略，最直接的方式是计算 BR 。但是由于对于复杂任务来说，直接计算 BR 难度高，因此通常选择训练近似BR来训练策略，可以采用强化学习（算法2），进化算法（算法3），后悔最小化（算法4）等方法。

类型一：传统自博弈算法

传统自博弈算法从单一策略开始，逐步扩展策略池，包括Vanilla self-play（训练时每次对手都选择最新生成的策略），Fictitious self-play（训练时每次对手都在现有训练完的策略中均匀采样），δ-uniform self-play（训练时每次对手都在现有训练完的最近的百分之δ策略中均匀采样），Prioritized Fictitious Self-play（根据优先级函数计算当前训练完的策略的优先级，训练时每次对手都根据这个优先级进行采样），Independent RL（训练时双方策略都会改变，对手策略不再固定）。

类型二：PSRO 系列算法

类似于传统自博弈算法，Policy-Space Response Oracle（PSRO）系列算法同样从单一策略开始，通过计算 ORACLE 逐步扩展策略池，这些新加入的策略是对当前元策略的近似 BR 。PSRO 系列与传统自博弈算法的主要区别在于，PSRO 系列采用了更复杂的MSS，旨在处理更复杂的任务。例如，α-PSRO 使用了基于 α-rank 的 MSS 来应对多玩家的复杂博弈。

类型三：持续训练系列算法

PSRO 系列算法中存在的两个主要挑战：首先，由于训练成本大，通常在每次迭代中截断近似BR计算，会将训练不充分的策略添加到策略池；其次，在每次迭代中会重复学习基本技能，导致效率较低。为了解决这些挑战，基于持续训练系列的算法提倡反复训练所有策略。与前面提到的两类最大区别是，持续训练系列算法同时训练整个策略池策略。这类算法采用多个训练周期，并在每个训练周期内依次训练策略池所有策略，而不再是通过逐步扩展策略池进行训练。

类型四：后悔最小化系列算法

另一类自博弈算法是基于后悔最小化的算法。基于后悔最小化的算法与其他类别的主要区别在于，它们优先考虑累积的长期收益，而不仅仅关注单次回合的表现。这种方法可以训练得到更具攻击性和适应性的策略，避免随着时间的推移被对手利用。这些算法要求玩家在多轮中推测并适应对手的策略。这种情况通常在重复博弈中观察到，而不是单回合游戏中。例如，在德州扑克或狼人游戏中，玩家必须使用欺骗、隐瞒和虚张声势的策略，以争取整体胜利，而不仅仅是赢得一局。

各类型算法比较与总结图

应用

在本节中，我们通过将三类经典场景来介绍自博弈的经典应用：棋类游戏，通常涉及完全信息；牌类游戏（包括麻将），通常涉及不完全信息；以及电子游戏，具有实时动作而非简单回合制游戏。

场景一：棋类游戏

棋类游戏领域，绝大多数是完全信息游戏，曾因引入两项关键技术而发生革命性变化：位置评估和蒙特卡罗树搜索。这两项技术在象棋、西洋跳棋、黑白棋、西洋双陆棋等棋盘游戏方面展现了超越人类的效果。相比之下，当这些技术应用于围棋时，由于围棋棋盘布局种类远超于上述提到的棋类游戏，因此仅能达到业余水平的表现。直到 DeepMind 推出了 AlphaGo 系列而发生了革命性的变化，AlphaGo 系列算法利用自博弈的强大功能显著提升了性能，为围棋领域设立了新的基准。

除了围棋，还有一种难度较高的棋类游戏是“军棋”（Stratego）。与大多数完全信息的棋类游戏不同，“军棋”是一个两人参与的不完全信息棋盘游戏。游戏分为两个阶段：部署阶段，玩家秘密安排他们的单位，为战略深度奠定基础；以及游戏阶段，目标是推断对手的布局并夺取他们的旗帜。DeepNash 采用基于进化的自博弈算法 R-NaD 达到了世界第三的人类水平。

场景二：牌类游戏

德州扑克（Texas Hold’em）是一种欧美流行的扑克游戏，适合 2 到 10 名玩家，当玩家数量增加，游戏变得更加复杂。此外，有三种下注形式：无限注、固定注和底池限注。每种形式在具有不同的游戏复杂度。在牌类游戏中，游戏抽象对于简化游戏复杂程度至关重要，可以将游戏的庞大状态空间减少到更容易处理的数量。Cepheus 采用后悔最小化系列算法 CFR+ 解决了最容易的双人有限注德州扑克。对于更复杂的双人无限注德州扑克，DeepStack 和 Libratus 采用子博弈重新计算的方式来实时做出决策，击败职业德州扑克选手。Pluribus 在 Libratus 基础上更进一步解决了六人无限注德州扑克。

斗地主需要同时考虑农民之间的合作和农民地主之间的竞争。斗地主同样是不完全信息博弈，这为游戏增加了不确定性和策略深度。DeltaDou 是基于 AlphaZero 开发的首个实现专家级斗地主表现的算法。之后的 DouZero 通过选择采样方法而非树搜索方法来降低训练成本，采用自博弈获取训练数据。

麻将同样基于不完全信息做出决策，此外，麻将的牌数更多，获胜牌型也更为复杂，对 AI 更具挑战性。Suphx 通过监督学习和自我博弈强化学习成为首个达到与人类专家水平的算法。NAGA 和腾讯设计的 LuckyJ 同样也在在线平台上达到了人类专家水平。

场景三：电子游戏

与传统棋类游戏和牌类游戏不同，电子游戏通常具有实时操作、更长的动作序列以及更广泛的动作空间和观察空间。在星际争霸（StarCraft）中，玩家需要收集资源、建设基地并组建军队，通过精心的计划和战术执行，使对方玩家失去所有建筑物，来取得胜利。AlphaStar 使用监督学习、端到端的强化学习和分层自博弈训练策略，在星际争霸II的 1v1 模式比赛中击败了职业玩家。

MOBA游戏要求两支玩家队伍各自操控他们独特的英雄，互相竞争以摧毁对方的基地。每个英雄都有独特的技能，并在队伍中扮演特定的角色，也无法观测全部地图。OpenAI Five 在简化版本的 Dota 2 中击败了世界冠军队，其训练过程使用混合类型自博弈，有 80% 的概率进行 Naive self-play，20% 的概率使用 Prioritized self-play。腾讯同样采用自博弈训练在王者荣耀游戏 1v1 和 5v5 模式中都击败了职业选手。

Google Research Football（GRF）是一个开源的足球模拟器，输入是高层次的动作，需要考虑队友之间的合作和两个队伍之间的竞争，且每队有 11 人。TiKick 通过 WeKick 的自博弈数据进行模仿学习，再利用分布式离线强化学习开发了一个多智能体AI。TiZero将课程学习与自博弈结合，无需专家数据，达到了比TiKick更高的TrueSkill评分。

各场景类型比较与总结图

讨论

自博弈方法因其独特的迭代学习过程和适应复杂环境的能力而表现出卓越的性能，然而，仍有不少方向值得进一步研究。

虽然许多算法在博弈论理论基础上提出，但在将这些算法应用于复杂的现实场景时，往往存在理论与现实应用的差距。例如，尽管 AlphaGo、AlphaStar 和 OpenAI Five 在实证上取得了成功，但它们的有效性缺乏正式的博弈论证明。

随着团队数量和团队内玩家数量的增加，自博弈方法的可扩展性面临显著挑战。例如，在 OpenAI Five 中，英雄池的大小被限制在仅17个英雄。根本上是由于自博弈方法在计算和存储两个方面训练效率有限：由于自博弈的迭代特性，智能体反复与自身或过去的版本对战，因而计算效率较低；自博弈需要维护一个策略池，因而对存储资源需求较高。

凭借卓越的能力和广泛的泛化性，大型语言模型（LLM）被认为是实现人类水平智能的潜在基础。为了减少对人工标注数据的依赖，自博弈方法被利用到微调LLM来增强LLM的推理性能。自博弈方法还在构建具有强大战略能力的基于 LLM 的代理方面做出了贡献，在”外交“游戏中达到了人类水平的表现。尽管近期取得了一些进展，将自博弈应用于 LLM 仍处于探索阶段。

自我博弈面另一个挑战是其在现实具身场景中无法直接应用。其迭代特性需要大量的试验和错误，很难直接在真实环境中完成。因此，通常只能在仿真器中进行自博弈训练，再将自博弈有效部署到现实具身场景中，关键问题仍在于克服 Sim2Real 差距。

#苹果首款AI手机发布

A18芯片，新增拍照按钮，AirPods变助听器

北京时间 9 月 10 日凌晨 1 点，苹果开始发光了。随着苹果园区中蒂姆・库克的身影在六色拱门前显现，主题为「It’s Glowtime」的苹果发布会序幕拉开。

没有任何意外，这次发布会上，库克和一众苹果同事带来了最新一代 iPhone 系列手机，包括 iPhone 16、iPhone 16 Plus、iPhone 16 Pro 和 iPhone 16 Pro Max。新一代 iPhone 多了两个按钮（相机控制按钮和动作按钮），颜色也变得更加丰富。

另外，苹果还发布了新一代 AirPods 和 Apple Watch。

AI 是这场发布会的重要看点。今天发布的几乎每款产品都配置了一定的智能能力，围绕 Apple Intelligence，涵盖语言、视觉、健康、生活等诸多方面。

所有硬件产品将于 9 月 13 日 20:00 开启预售，9 月 20 日发售。Apple Intelligence 则将在下个月开始向用户推送。

iPhone 16 标准版

祖传 60Hz，相机控制成亮点

在之前爆料中，iPhone 16 标准版的摄像头布局要有所变化。果不其然，此次上新的 iPhone 16 采用了双摄像头垂直排列，除此之外，总体设计与上代没有变化，正面顶部依然是「灵动岛」开孔，用于防止前置摄像头和 Face ID 传感器。屏幕刷新率仍为祖传的 60Hz，并据称配备了 8GB 运行内存。

iPhone 16 标准版提供了 5 种配色，分别为黑、白、粉、群青、和深青。屏幕亮度支持范围为 1-2000 尼特。

标准版有两个尺寸可供选择，包括了 6.1 英寸的 iPhone 16 和 6.7 英寸的 iPhone 16 Plus。储存容量同样有 128GB、256GB 和 512GB 可选；支持 IP68 防溅、抗水、防尘；首次支持 MagSafe 快速充电，通过 30W 充电器，充电功率可达 25W，同时支持最高 15W 无线充电。

在芯片方面，此次标准版搭载了全新的 A18 处理器，采用第二代 3nm 工艺，CPU 为 6 核心，包括 2 个性能核心和 4 个效率核心。苹果表示，CPU 性能要比 iPhone 15 的 CPU 快 30%，比 iPhone 12 的 A14 快 60％。

同时，iPhone 16 搭载了 16 核神经网络引擎，并针对大型生成模型进行优化，机器学习速度最高提升 2 倍，内存带宽增加 17%。

GPU 方面，A18 搭载的 5 核 GPU 性能比 iPhone 15 的 A16 快了 40%，同时能耗降低了 35%。

在相机方面，标准版采用双摄系统，主摄 4800 万像素，支持 26 毫米焦距、ƒ/1.6 光圈、传感器位移式光学图像防抖功能、100% Focus Pixels、以及超高分辨率照片（2400 万像素和 4800 万像素）。主摄同时支持 1200 万像素 2 倍长焦功能。

另外一颗是 1200 万像素超广角摄像头，支持 13 毫米焦距、ƒ/2.2 光圈和 120° 视角、100% Focus Pixels。

在视频方面，标准版支持了最高 60 fps 的 4K 杜比视界视频拍摄和 1080p 杜比视界视频拍摄、最高 4K HDR、30 fps 的电影效果模式、最高 2.8K、60 fps 的运动模式、以及 1080p、30 fps 的空间视频拍摄等功能。

此次，标准版在相机控制方面有了较大创新， 在设备侧面配备了一个新的电容式按钮（Camera Control），装有蓝宝石玻璃。用户可以滑动切换功能和参数，并可以感知按压力度，从而更方便地拍摄照片和视频。

现在，用户只需要滑动手指，就能调整曝光、景深等相机功能，还能切换各个镜头或使用数码变焦取景构图。

苹果新推出的新视觉人工智能功能也可以通过相机控制快速访问。标准版还可以让用户使用空间拍摄功能，以全新方式拍出鲜活的照片和视频。搭配使用 Apple Vision Pro，用户可以感受 3D 世界。

此外，标准版也配备了去年 Pro 机型上首次亮相的 Action 按钮，取代了以往的静音开关，并且可自定义。用户可以将其设置为激活手电筒或语音备忘录录音，还可以触发快捷方式等功能。

详细规格参考下图。

至于价格，iPhone 16 售价 799 美元起，iPhone 16 Plus 售价 899 美元起。国行版价格也已经出炉，iPhone 16 最低 5999 元（128GB），iPhone 16 Plus 128GB 价格售价为 6999 元，与上一代 15 标准版定价相同。

iPhone 16 Pro 版

CPU 最强、尺寸最大

iPhone 16 标准版的一些功能让用户眼前一亮，而 Pro 版更像是「巨无霸」。

尺寸方面，iPhone 16 Pro 为 6.3 英寸，iPhone 16 Pro Max 为 6.9 英寸，后者成为苹果有史以来最大的显示屏。最大屏幕的同时边框也实现了迄今最窄，同样配备了灵动岛功能、ProMotion 自适应刷新率技术，屏幕刷新率最高 120 Hz、原彩显示、2000 尼特峰值亮度。

两个版本均提供 4 种配色，分别是黑色钛金属、白色钛金属、原色钛金属、沙漠色钛金属。储存容量方面，iPhone 16 Pro 提供 128GB、256GB、512GB、1TB，iPhone 16 Pro Max 则少了 128GB 版本。同时支持 8G 运行内存，IP68 防溅、抗水、防尘，iPhone 16 Pro Max 达成有史以来续航最强。

芯片方面，Pro 版搭载了 A18 Pro 芯片，是对上一代 A17 Pro 的升级。该芯片同样采用了第二代 3nm 工艺，拥有 16 核神经引擎，每秒可以处理 35 万亿运算，速度更快且能效更高，内存带宽提升了 17％。

CPU 方面，A18 Pro 搭载了 6 核 CPU，包括 2 个性能核心和 4 个效率核心，速度比 A17 Pro 提升了 15％，同时功耗降低了 20％。同时比 A18 缓存更大，还支持下一代机器学习（ML）加速器。

苹果称 A18 Pro 为「当今智能手机中最快的 CPU」。

GPU 方面，A18 Pro 采用了桌面级架构，搭载了 6 核 GPU，性能比 A17 Pro 提升了 20％，支持网格着色功能，光线追踪速度是 A17 Pro 的两倍。

影像方面，Pro 版采用了三摄分布，并进行了全面升级。第一颗是 4800 万像素融合式主摄，支持 24 毫米焦距、ƒ/1.78 光圈、第二代传感器位移式光学图像防抖功能、100% Focus Pixels、超高分辨率照片（2400 万像素和 4800 万像素）。同时支持 1200 万像素 2 倍长焦功能。

第二颗同样是 4800 万像素超广角摄像头，支持 13 毫米焦距、ƒ/2.2 光圈和 120° 视角、Hybrid Focus Pixels 以及超高分辨率照片（4800 万像素），同时支持自动对焦。

第三颗为 1200 万像素 5 倍长焦摄像头，支持 120 毫米焦距、ƒ/2.8 光圈和 20° 视角、100% Focus Pixels、七镜式镜头、3D 传感器位移式光学图像防抖和自动对焦等。

与标准版一样，Pro 版支持相机控制功能，用户可以快速打开相机 App，滑动手指切换镜头，体验长焦等功能。

视频方面同样有了很大更新，支持 120 fps（融合式摄像头）的 4K 杜比视界视频拍摄、最高 120 fps（融合式摄像头）的 1080p 杜比视界视频拍摄、30 fps 720p 杜比视界视频拍摄、最高 4K HDR、30 fps 电影效果模式、以及 1080p 30 fps 的空间视频拍摄。此外支持用户直接外接硬盘录制 4K 120 fps 的 ProRes 视频。

更详细规格参见下图。

价格方面，iPhone 16 Pro 国行起售价 7999 元（128GB），iPhone 16 Pro Max 起售价 9999 元（256GB），最高 13999 元（1TB）。

Apple Intelligence

围绕个人语境的全产品线智能

在今年 6 月的苹果全球开发者大会 WWDC 上，苹果震撼发布了其全新的个性化智能系统 ——Apple intelligence，全面接入了生成式 AI 能力。

不过，在刚刚的发布会上，Apple Intelligence 功能并未明显超出人们的预期，其核心主要围绕三个方面：语言、图像和动作。但其亮点在于融合用户的 Personal Context（个人语境）并与苹果新一代产品全面整合。

苹果公司软件负责人 Craig Federighi 说：「Apple Intelligence 使用了我们芯片的强大能力，可在你口袋中的 iPhone 上运行多个生成模型，并且它们能动态适应你的当前活动。」

语言方面，iPhone 配置了智能化的文本工具，可帮助用户自动处理输入的文本。纠错是最基本的，该工具还能让文本内容变得更加专业化、更友善或更简洁。另外，其还非常擅长处理 emoji 表情，如有需要，用户甚至可以输入自然语言来生成自己想要的 emoji 并将其发送给朋友。

视觉方面，苹果将视觉智能全面赋予了新一代 iPhone 系列手机，其上新增的相机控制键成为了视觉智能的重要入口。

用户只需按下相机控制键，就能让 AI 分析照片中的内容，然后 AI 能进一步检索相关信息、执行翻译、添加日程安排、查询 ChatGPT、定位产品页面…… 或者查询路上遇到的狗狗的品种。

此外，苹果照片应用也将深度整合智能能力，用户可以使用自然语言查询定位自己的照片 / 视频、为照片添加最合适的滤镜特效以及自动制作动态相册。此外，用户也可以在消息应用中直接使用自然语言查询自己的相册并将其发送出去。

iPhone 还能拍摄用于 Apple Vision Pro 等虚拟 / 增强现实设备的空间照片。

语言和图像再加上用户设备中各种各样的个人信息（比如从健康应用读取的个人健康数据、日程安排、笔记等），构成了用户的个人语境。而个人语境自然就是苹果针对用户实现个性化智能的基础。

作为苹果语音助手的 Siri 自然而然便是 Apple Intelligence 的一大主要入口。现已支持文本和语音输入的 Siri 还具备了屏幕感知能力，也就是说其能分析用户当前屏幕上显示的内容，从而进一步提升其对用户个人语境的理解。

基于构成用户个人语境的信息，Apple Intelligence 可以根据用户需求将其变成 Action（动作）。苹果新推出的设备能为用户执行成百上千种不同动作。

在 iPhone 上，新增的动作按钮可让用户自己配置自己想要的动作，从而实现不同的功能，比如打开日历或其它应用、开启手电筒、锁定汽车等快捷功能或一键记录语音速记、执行翻译、识别音乐等智能功能。

在 AirPods 上，苹果打造了一个强大的个性化空间音频系统。与 Siri 对话以及通过点头和摇头来发出指令是最基本的功能，AirPods 还支持智能噪声消除和自适应音频能力。

比如 AirPods 可在用户与其他人对话时降低降噪效果甚至增强对话的声音，这一能力使其不仅仅作为一副耳机，更是能充当助听器。事实上，AirPods 也已加入苹果健康大家庭。据介绍，世卫组织调查发现全球有 15 亿人都存在听力受损问题，而这些问题又可能造成进一步的困难，比如认知下降、跌倒和社交隔离。为此，AirPods Pro 2 具备了三大基于智能技术的新功能：通过智能降噪来预防听力下降、经过临床验证的听力测试、临床级的听力辅助功能（Hearing Aid）。

而在新一代 Apple Watch 上，AI 也被用于根据墙纸内容自动调整时间等内容的显示方式，同时还被用于监测和预防睡眠呼吸暂停（sleep apnea）等疾病。

此外，苹果还表示如果 iPhone 的智能不够用，还能使用的他们的私有云计算（Private Cloud Compute）。Federighi 说：「对于计算更密集的任务，Apple Intelligence 可通过私有云计算解锁更多智能。私有云计算与你的 iPhone 一样隐私和安全，同时还能让你访问比你口袋中的设备所能承载的远远更大的生成模型。」

当然，不只是今天发布的 iPhone，大部分较新的苹果设备都支持 Apple Intelligence。

Apple Intelligence 将以免费软件更新的形式提供给 iPhone 用户。具体来说，下个月将向用户推送 beta 版，其中包含部分功能，更多功能将在未来几个月陆续推出。语言方面，Apple Intelligence 一开始仅支持美国英语，之后会在 12 月份支持加拿大、英国、澳大利亚等更多本地化英语。至于我们更关心的汉语支持，得等到明年了。

Apple Watch

更大、更薄，能检测睡眠呼吸暂停

2024 正值 Apple Watch 发布十周年。2014 年 9 月 9 日，苹果发布了第一代 Apple Watch，包含了运动追踪、健康监测和无线通信等功能，集成 watchOS 并与其他苹果设备联动。

此后，Apple Watch 成为了全球最畅销的智能穿戴设备之一。2024 年 4 月，市场调研机构 Canalys 的数据显示，2023 年全球可穿戴腕带设备出货量 1.85 亿台，苹果以 19％时长份额稳居第一。

今天发布的 Apple Watch Series 10 拥有迄今为止的最大、最先进的显示屏，而且比以往任何型号都薄。此外，它还支持睡眠呼吸暂停通知以及与涉水运动相关的水深和温度感应，充电也比以往更快。

Apple Watch Series 10 有铝金属和钛金属两种材质，拥有一系列令人惊艳的颜色和外观。铝金属有亮黑色、玫瑰金和银色可选。其中，亮黑色是一种全新的抛光铝金属外观，具有独特的反光效果和时尚感。而新的钛金属表壳有原色、金色和石板色可选。

新的金属后盖集成了一个更大、更高效的充电线圈，使 Series 10 成为有史以来充电最快的苹果手表。15 分钟的充电可提供 8 小时的正常日常使用，8 分钟的充电可提供长达 8 小时的睡眠跟踪。用户可以在大约 30 分钟内将电量充到 80%。

Apple Watch Series 10 搭载了苹果全新 S10 芯片，拥有四核神经网络单元，其上可以运行 Transformer 模型来增强智能性，包括双击手势、Siri、听写和自动运动检测等。此外，它还支持车祸检测和摔倒检测以及通话降噪等功能。

Apple Watch 提供了一项有助于识别睡眠呼吸暂停迹象的功能。众所周知，睡眠呼吸暂停会对健康产生重要后果，包括高血压、糖尿病和心脏问题的风险增加。为了检测睡眠呼吸暂停，Apple Watch 使用加速计来监测手腕上与正常呼吸模式中断有关的细微动作，并通过 Apple Watch 的新指标「呼吸紊乱」进行跟踪。

新的睡眠呼吸暂停算法会分析呼吸紊乱数据。算法是利用先进的机器学习和大量临床级睡眠呼吸暂停测试数据集开发的。

新的水温传感器能提供游泳这项体能训练的更多信息。加上新的水深传感器，Series 10 非常适合游泳和浮潜时佩戴。

下图是 Apple Watch Series 10 亮点的全部概览：  

国行版售价如下：  

备受期待的 Apple Watch Ultra 3 缺席了这次发布会。Ultra 2 新增全新黑色钛金属表壳。它不仅满载日常所需的各种连接、健康和安全功能，更配有运动手表中精准度超高的 GPS。

所有核心指标如下：  

售价 6499 元起。

AirPods

既是降噪耳机，也是助听器

在耳机这个品类，苹果发布了 AirPods 4 普通版和主动降噪版；AirPods Max 新增了一些配色，并提供 USB-C 充电功能；AirPods Pro 2 将推出全球首款端到端听力健康体验，提供主动听力保护、经过科学验证的听力测试和临床级助听器功能。

AirPods 4 的一大亮点是舒适度。为了适合不同耳型，苹果构建了一个庞大的数据集，该数据集使用先进的建模工具来精确绘制和分析数千个耳朵形状以及总共超过 5000 万个单独的数据点，这使得 AirPods 4 成为有史以来最舒适的 AirPods。

AirPods 4 首次将主动降噪（ANC）技术引入开放式耳机设计，并推出了一个新型号。这款具有 ANC 功能的 AirPods 4 能够有效减少飞机发动机、城市交通等环境噪音，为用户提供更清晰的听觉体验。它通过硬件和软件的协同工作，实现了最自然的聆听体验。此外，AirPods 4 还引入了通透模式等智能功能，允许外界声音进入，让用户在需要时了解自己的环境。它还具备自适应音频功能，能够根据用户所处的环境条件动态地混合通透模式和 ANC，以及对话意识功能，当用户开始与附近的人交谈时，它会自动降低媒体音量，确保对话清晰。

AirPods 4 配置 H2 芯片。有了这块芯片，AirPods 4 就能带来只有苹果芯片才能提供的智能音频体验，例如语音隔离功能，无论环境条件如何，都能实现更清晰的通话质量；Siri 交互功能，用户只需点头同意或轻轻摇头拒绝，就能对 Siri 通知做出回应。为了获得更多控制功能，AirPods 4 还在耳机柄上配备了全新的力传感器，只需快速按下即可播放或暂停媒体，静音或结束通话。由于采用了 H2 芯片，AirPods 4 还非常适合游戏，在与队友和其他玩家聊天时可提供低无线音频延迟和出色的语音质量，包括支持 16 位 48kHz 音频。

为了更加方便，充电盒现在提供 USB-C 充电功能，并且体积比前代产品小 10% 以上，同时仍可提供长达 30 小时的电池续航时间。

AirPods 4 完整亮点如下：

起售价如下：  

苹果还发布了升级版的 AirPods Max，支持 USB-C 充电，并增加了橙色、紫色和星光三种新颜色。

这款耳机在国内的售价为 3999 元。

AirPods Pro 2 新增了听力保护功能，分为预防、检测和辅助三种情况。

听力保护功能将默认启用。该功能在机器学习的帮助下降噪，可以在保留细节的情况下屏蔽噪音，以防止损坏听力。该功能可与耳塞已提供的被动噪音隔离功能共同发挥作用。

为了帮助用户检查听力，苹果很快将在健康应用程序中提供经过临床验证的听力测试。使用交互式纯音听力测试，耳机将能够识别用户是否有听力损失，并提供详细的摘要，突出显示每年的听力损失程度、分类和建议。用户将能够轻松地与医生分享这些结果并采取适当的措施。

对于那些已经患有听力损失的人，AirPods Pro 2 将利用听力测试收集的数据来生成自定义声音配置文件并增强聆听体验。它将充当轻度至中度听力损失人士的临床级助听器，使他们能够更好地听到他人或周围环境的声音。用户还可以使用医疗专业人员创建的听力图来设置助听器功能。

这款耳机的完整亮点如下：  

总结

虽然发布会后苹果 CEO 蒂姆・库克发推表示新一代 iPhone 是专为 Apple Intelligence 打造的，这标志着 iPhone 已经进入了一个新时代，但整体而言，苹果此次发布的硬件和功能都未能超出人们的预期。发布会的股价表现也佐证了这一点：几乎没有变化。

发布会后，不少网友调侃说新一代 iPhone 看起来和上一代差不多。

但也有网友表示虽然楼上说得对，但还是要买：

你是否打算入手一台为 AI 而生的 iPhone 呢？

顺带一提，今天下午，苹果在中国的主要竞争对手华为将举办华为见非凡品牌盛典及鸿蒙智行新品发布会，届时将发布 HUAWEI Mate XT 非凡大师。不知道这场发布会又能否给我们带来一些惊喜呢？

#Training-Free Open-Ended Object Detection and Segmentation via Attention as Prompts

无需训练，一个框架搞定开放式目标检测、实例分割

本文介绍了来自北京大学王选计算机研究所的王勇涛团队的最新研究成果 VL-SAM。针对开放场景，该篇工作提出了一个基于注意力图提示的免训练开放式目标检测和分割框架 VL-SAM，在无需训练的情况下，取得了良好的开放式 (Open-ended) 目标检测和实例分割结果，论文已被 NeurIPS 2024 录用。

• 论文标题：Training-Free Open-Ended Object Detection and Segmentation via Attention as Prompts
• 论文链接：https://arxiv.org/abs/2410.05963

论文概述

本文提出了一个无需训练的开放式目标检测和分割框架，结合了现有的泛化物体识别模型（如视觉语言大模型 VLM）与泛化物体定位模型（如分割基础模型 SAM），并使用注意力图作为提示进行两者的连接。在长尾数据集 LVIS 上，该框架超过了之前需要训练的开放式方法，同时能够提供额外的实例分割结果。在自动驾驶 corner case 数据集 CODA 上，VL-SAM 也表现出了不错的结果，证明了其在真实应用场景下的能力。此外，VL-SAM 展现了强大的模型泛化能力，能够结合当前各种 VLM 和 SAM 模型。

研究背景

深度学习在感知任务方面取得了显著成功，其中，自动驾驶是一个典型的成功案例。现有的基于深度学习的感知模型依赖于广泛的标记训练数据来学习识别和定位对象。然而，训练数据不能完全覆盖真实世界场景中所有类型的物体。当面对分布外的物体时，现有的感知模型可能无法进行识别和定位，从而可能会发生严重的安全问题。

为了解决这个问题，研究者们提出了许多开放世界感知方法。这些方法大致可以分为两类：开集感知（open-set）和开放式感知（open-ended）。开集感知方法通常使用预训练的 CLIP 模型来计算图像区域和类别名称之间的相似性。因此，在推理过程中，这类方法需要预定义的对象类别名称作为 CLIP 文本编码器的输入。然而，在许多现实世界的应用场景中，并不会提供确切的对象类别名称。例如，在自动驾驶场景中，自动驾驶车辆可能会遇到各种意想不到的物体，包括起火或侧翻的事故车和各种各样的建筑车辆。相比之下，开放式感知方法更具通用性和实用性，因为这些可以同时预测对象类别和位置，而不需要给定确切的对象类别名称。 

与此同时，在最近的研究中，大型视觉语言模型（VLM）显示出强大的物体识别泛化能力，例如，它可以在自动驾驶场景中的长尾数据上（corner case）识别非常见的物体，并给出准确的描述。然而，VLM 的定位能力相比于特定感知模型较弱，经常会漏检物体或给出错误的定位结果。另一方面，作为一个纯视觉基础模型，SAM 对来自许多不同领域的图像表现出良好的分割泛化能力。然而，SAM 无法为分割的对象提供类别。基于此，本文提出了一个无需训练的开放式目标检测和分割框架 VL-SAM，将现有的泛化物体识别模型 VLM 与泛化物体定位模型 SAM 相结合，利用注意力图作为中间提示进行连接，以解决开放式感知任务。

方法部分

作者提出了 VL-SAM，一个无需训练的开放式目标检测和分割框架。具体框架如下图所示：

图 1 VL-SAM 框架图

具体而言，作者设计了注意力图生成模块，采用头聚合和注意力流的方式对多层多头注意力图进行传播，从而生成高质量的注意力图。之后，作者使用迭代式正负样本点采样的方式，从生成的注意力图中进行采样，得到 SAM 的点提示作为输入，最终得到物体的分割结果。

1、注意力图生成模块（Attention Map Generation Module）

给定一张输入图片，使用 VLM 给出图片中所有的物体类别。在这个过程中存储 VLM 生成的所有 query 和 key，并使用 query 和 key 构建多层多头注意力图：

其中 N 表示 token 的数量，H 表示多头注意力的数量，L 表示 VLM 的层数。

之后，采用 Mean-max 的方式对多头注意力图进行聚合，如图 2 所示：

图 2 多头注意力聚合

首先计算每个头的注意力的权重：

之后采用基于权重的多头注意力加权进行信息聚合：

其中

表示矩阵点乘。

在聚合多头注意力图之后，采用注意力流的方式进一步聚合多层注意力图，如图 3 所示

图 3 注意力流

具体而言，采用 attention rollout 的方式，计算第

层到第

层的注意力图传播：

其中

表示单位矩阵。最后，作者仅使用传播后的最后一层注意力图作为最终的注意力图。

2、SAM 提示生成

生成的注意力图中可能会存在不稳定的假阳性峰值。为了过滤这部分假阳性，作者首先采用阈值过滤的方式进行初步过滤，并找到剩余激活部分的最大联通区域作为正样本区域，其余的部分作为负样本区域。之后，采用峰值检测的方式分别从正负样本区域进行采样，得到正负样本点，作为 SAM 的点提示输入。

3、迭代式分割优化

从 SAM 得到分割结果可能会存在粗糙的边界或者背景噪声，作者采用两种迭代式方式进一步对分割结果进行优化。在第一种迭代方式中，作者借鉴 PerSAM 使用 cascaded post-refinement 的方式，将初始的分割结果作为额外的提示输入到 SAM 中。对于第二种迭代方式，作者使用初始的分割结果对注意力图进行掩码，之后在掩码的区域进行正负样本点采样。

4、多尺度聚合和问题提示聚合

作者还采用两种聚合（Ensemble）的方式进一步改良结果。对于 VLM 的低分率问题，作者使用多尺度聚合，将图片切成 4 块进行输入。此外，由于 VLM 对问题输入较为敏感，作者采用问题提示聚合，使得 VLM 能够尽量多得输出物体类别。最后，采用 NMS 对这些聚合结果进行过滤。

实验结果

在包含 1203 类物体类别的长尾数据集 LVIS 验证集上，相比于之前的开放式方法，VL-SAM 取得了更高的包围框 AP 值。同时，VL-SAM 还能够获取物体分割结果。此外，相比于开集检测方法，VL-SAM 也取得了具有竞争力的性能。 

表 1 LVIS 结果

在自动驾驶场景 corner case 数据集 CODA 上，VL-SAM 也取得了不错的结果，超过了开集检测和开放式检测的方法。

表 2 CODA 结果

结论

本文提出了 VL-SAM，一个基于注意力图提示的免训练开放式目标检测和分割框架 VL-SAM，在无需训练的情况下，取得了良好的开放式 (Open-ended) 目标检测和实例分割结果。

#LeCun 的世界模型初步实现

基于预训练视觉特征，看一眼任务就能零样本规划

在 LLM 应用不断迭代升级更新的当下，图灵奖得主 Yann LeCun 却代表了一股不同的声音。他在许多不同场合都反复重申了自己的一个观点：当前的 LLM 根本无法理解世界。他曾说过：LLM「理解逻辑的能力非常有限…… 无法理解物理世界，没有持续性记忆，不能推理（只要推理的定义是合理的）、不能规划。」

Yann LeCun 批评 LLM 的推文之一

相反，他更注重所谓的世界模型（World Model），也就是根据世界数据拟合的一个动态模型。比如驴，正是有了这样的世界模型，它们才能找到更省力的负重登山方法。

近日，LeCun 团队发布了他们在世界模型方面的一项新研究成果：基于预训练的视觉特征训练的世界模型可以实现零样本规划！也就是说该模型无需依赖任何专家演示、奖励建模或预先学习的逆向模型。

• 论文标题：DINO-WM: World Models on Pre-trained Visual Features enable Zero-shot Planning
• 论文地址：https://arxiv.org/pdf/2411.04983v1
• 项目地址：https://dino-wm.github.io/

该团队提出的 DINO-WM 是一种可基于离线的轨迹数据集构建与任务无关的世界模型的简单新方法。据介绍，DINO-WM 是基于世界的紧凑嵌入建模世界的动态，而不是使用原始的观察本身。

对于嵌入，他们使用的是来自 DINOv2 模型的预训练图块特征，其能提供空间的和以目标为中心的表征先验。该团队推测，这种预训练的表征可实现稳健且一致的世界建模，从而可放宽对具体任务数据的需求。

有了这些视觉嵌入和动作后，DINO-WM 会使用 ViT 架构来预测未来嵌入。

完成模型训练之后，在解决任务时，规划会被构建成视觉目标的达成，即给定当前观察达成未来的预期目标。由于 DINO-WM 的预测质量很高，于是就可以简单地使用模型预测控制和推理时间优化来达成期望的目标，而无需在测试期间使用任何额外信息。

DINO 世界模型

概述和问题表述：该研究遵循基于视觉的控制任务框架，即将环境建模为部分可观察的马尔可夫决策过程 （POMDP）。POMDP 可定义成一个元组 (O, A, p)，其中 O 表示观察空间，A 表示动作空间。p (o_{t+1} | o≤t, a≤t) 是一个转移分布，建模了环境的动态，可根据过去的动作和观察预测未来的观察。

这项研究的目标是从预先收集的离线数据集中学习与任务无关的世界模型，然后在测试时间使用这些世界模型来执行视觉推理。

在测试时间，该系统可从一个任意的环境状态开始，然后根据提供的目标观察（RGB 图像形式），执行一系列动作 a_0, ..., a_T，使得目标状态得以实现。

该方法不同于在线强化学习中使用的世界模型，其目标是优化手头一组固定任务的奖励；也不同于基于文本的世界模型，其目标需要通过文本提示词指定。

基于 DINO 的世界模型（DINO-WM）

该团队将环境动态建模到了隐藏空间中。更具体而言，在每个时间步骤 t，该世界模型由以下组分构成：

其中，观察模型是将图像观察编码成隐藏状态 z_t，而转移模型则是以长度为 H 的过去隐藏状态历史为输入。解码器模型则是以隐藏的 z_t 为输入，重建出图像观察 o_t。这里的 θ 表示这些模型的参数。

该团队指出，其中的解码器是可选的，因为解码器的训练目标与训练世界模型的其余部分无关。这样一来，就不必在训练和测试期间重建图像了；相比于将观察模型和解码器的训练结合在一起的做法，这还能降低计算成本。

DINO-WM 仅会建模环境中离线轨迹数据中可用的信息，这不同于近期的在线强化学习世界模型方法（还需要奖励和终止条件等与任务相关的信息）。

使用 DINO-WM 实现视觉规划

为了评估世界模型的质量，需要了解其在下游任务上的推理和规划能力。一种标准的评估指标是在测试时间使用世界模型执行轨迹优化并测量其性能。虽然规划方法本身相当标准，但它可以作为一种展现世界模型质量的手段。

为此，该团队使用 DINO-WM 执行了这样的操作：以当前观察 o_0 和目标观察 o_g（都是 RGB 图像）为输入，规划便是搜索能使智能体到达 o_g 的一个动作序列。为了实现这一点，该团队使用了模型预测性控制（MPC），即通过考虑未来动作的结果来促进规划。

为了优化每次迭代的动作序列，该团队还使用了一种随机优化算法：交叉熵方法（CEM）。其规划成本定义为当前隐藏状态与目标隐藏状态之间的均方误差（MSE），如下所示：

实验

该团队基于以下四个关键问题进行了实验：

• 能否使用预先收集的离线数据集有效地训练 DINO-WM？
• 训练完成后，DINO-WM 可以用于视觉规划吗？
• 世界模型的质量在多大程度上取决于预训练的视觉表征？
• DINO-WM 是否可以泛化到新的配置，例如不同的空间布局和物体排列方式？

为了解答这些问题，该团队在 5 个环境套件（Point Maze、Push-T、Wall、Rope Manipulation、Granular Manipulation）中训练和评估了 DINO-WM，并将其与多种在隐藏空间和原始像素空间中建模世界的世界模型进行了比较。

使用 DINO-WM 优化行为

该团队研究了 DINO-WM 是否可直接用于在隐藏空间中实现零样本规划。

如表 1 所示，在 Wall 和 PointMaze 等较简单的环境中，DINO-WM 与 DreamerV3 等最先进的世界模型相当。但是，在需要准确推断丰富的接触信息和物体动态才能完成任务的操纵环境中，DINO-WM 的表现明显优于之前的方法。

下面展示了一些可视化的规划结果：

预训练的视觉表征重要吗？

该团队使用不同的预训练通用编码器作为世界模型的观察模型，并评估了它们的下游规划性能。

在涉及简单动态和控制的 PointMaze 任务中，该团队观察到具有不同观察编码器的世界模型都实现了近乎完美的成功率。然而，随着环境复杂性的增加（需要更精确的控制和空间理解），将观察结果编码为单个隐藏向量的世界模型的性能会显著下降。他们猜想基于图块的表征可以更好地捕获空间信息，而 R3M、ResNet 和 DINO CLS 等模型是将观察结果简化为单个全局特征向量，这样会丢失操作任务所需的关键空间细节。

泛化到全新的环境配置

该团队也评估了新提出的模型对不同环境的泛化能力。为此，他们构建了三类环境：WallRandom、PushObj 和 GranularRandom。实验中，世界模型会被部署在从未见过的环境中去实现从未见过的任务。图 6 展示了一些示例。

结果见表 3。可以看到，DINO-WM 在 WallRandom 环境中的表现明显更好，这表明世界模型已经有效地学习了墙壁和门的一般概念，即使它们位于训练期间未曾见过的位置。相比之下，其他方法很难做到这一点。

PushObj 任务对于所有方法来说都挺难，因为该模型仅针对四种物体形状进行了训练，这使其很难精确推断重心和惯性等物理参数。

在 GranularRandom 中，智能体遇到的粒子不到训练时出现的一半，导致图像出现在了训练实例的分布之外。尽管如此，DINO-WM 依然准确地编码了场景，并成功地将粒子聚集到与基线相比具有最小 Chamfer Distance（CD）的指定方形位置。这说明 DINO-WM 具有更好的场景理解能力。该团队猜想这是由于 DINO-WM 的观察模型会将场景编码为图块特征，使得粒子数量的方差仍然在每个图块的分布范围内。

与生成式视频模型的定性比较

鉴于生成式视频模型的突出地位，可以合理地假设它们可以很容易地用作世界模型。为了研究 DINO-WM 相对于此类视频生成模型的实用性，该团队将其与 AVDC（一个基于扩散的生成式模型）进行了比较。

如图 7 所示，可以看到，在基准上训练的扩散模型能得到看起来相当真实的未来图像，但它们在物理上并不合理，因为可以看到在单个预测时间步骤中就可能出现较大的变化，并且可能难以达到准确的目标状态。

DINO-WM 所代表的方法看起来颇有潜力，该团队表示：「DINO-WM 朝着填补任务无关型世界建模以及推理和控制之间的空白迈出了一步，为现实世界应用中的通用世界模型提供了光明的前景。」

参考链接：

​​https://www.ft.com/content/23fab126-f1d3-4add-a457-207a25730ad9​​ 

#马斯克的xAI收购了马斯克的X（推特）

一觉醒来，xAI 收购了 X（也叫推特或 𝕏）！

这两家公司的 CEO 伊隆・马斯克在 X 上宣布：「xAI 通过一次全股票交易收购了 X。此次合并对 xAI 的估值为 800 亿美元，对 X 的估值为 330 亿美元（450 亿美元减去 120 亿美元的债务）。」

他还写到：「xAI 与 X 的未来息息相关。今天，我们正式迈出了将数据、模型、计算、分布和人才结合起来的一步。」

虽然在此之前，xAI 已经开始与 X 深度整合了 ——xAI 的聊天机器人 Grok 已经紧密整合在了 X 平台中，但这场收购毫无疑问将会把 X 完全纳入到 xAI 的统一管理之中。

这一消息自然引发了无数讨论，有人表达意外，有人表示祝贺，有人开始制作 meme，不一而足。

也有人让 Grok 分析了这次合并对这两家公司的好处。结果没什么意外：xAI 能获得大量数据和分发渠道，而 X 则能借助 AI 增强功能和用户体验。

调侃的人当然也少不了：

对了，这张图同样也已经被吉卜力化了。

一点历史背景

xAI 是马斯克 2023 年成立的 AI 创业公司，当时的目的是与 OpenAI 竞争，更多详情可参阅报道《马斯克对标 OpenAI 成立 X.AI：挖 DeepMind 人才，英伟达股价应声上涨》。

成立之后，xAI 的估值就一路飙升并且成绩斐然。现在，xAI 成立才不过短短两年时间，就已经跻身全球领先的 AI 公司之列，并且正在频繁发布与 OpenAI、Anthropic 和谷歌竞争的 AI 模型和产品。今年 2 月，xAI 推出了当前主推的 Grok 3 模型，其具备相当强大的推理能力和广泛的预训练知识。

据报道，今年 2 月，xAI 正在谈判以 750 亿美元的估值获得另外 100 亿美元的融资。然而，马斯克现在表示，xAI 的估值已经达到了 800 亿美元。

与其他创业公司相比，xAI 的主要优势之一是可以访问 X 的数据。X 多年来积累的大量数据使 xAI 在 AI 训练数据争夺战中占据了显著优势。此外，马斯克此前还曾允许 Grok 聊天机器人访问 X 平台帖子中的实时新闻更新。

而 X 则是马斯克在 2022 年 10 月收购的社交网络公司，其在全球都有巨大的影响力。在马斯克收购 X（当时还叫 Twitter）时，该公司的估值为 440 亿美元；但之后不久其估值就一路下行，甚至一度低于 100 亿美元。

事情的转机出现在唐纳德・特朗普就任总统之后。X 的估值一路回升，直至如今的 330 亿美元。原因也不难理解，马斯克作为特朗普的坚定拥趸，许多投资人都认为他现在对美国政府和制策制定拥有更大的影响力，更不要提他的美国政府效率部（DOGE）领导者身份。

在上述推文中，马斯克还写到 X 的活跃用户数量已经达到了 6 亿。如此庞大的用户规模可让新合并产生的千亿美元估值企业在竞争中获得非常显著的数据优势。据了解，目前该公司的主要竞争对手 OpenAI 曾在去年 10 月以 1570 亿美元的估值融资 66 亿美元，最近更是有报道称其最新估值有望超过 3000 亿美元；而 Anthropic 在 3 月 3 日宣布刚以 615 亿美元投后估值获得了 35 亿美元 E 轮融资。

对于这场马斯克旗下的双 x 合并，你有什么看法？

#Qwen2.5-Omni-7B

端到端全模态！小而强的大模型~

Qwen最近几天高强度的发布新品，这就两天，一个Qwen2.5-VL-32B，一个Qwen2.5-Omni-7B。

在开源领域，Qwen和DeepSeek已然是御两家了，Llama系列的辉煌消逝殆尽了。​

模型简介

Qwen-2.5-Omni是一个全模态模型，Omni来自拉丁语单词“Omnis”，意为“全部”、“一切”或“全方位”，ChatGPT也有过类似的后缀。

Qwen-2.5-Omni可以处理文字、图像、音频和视频，同时输出文字和音频。

作为全模态模型，在单项测试中均超过单模态（语音或者视频）模型。

现在已多平台上线了。

Hugging Face：https://huggingface.co/Qwen/Qwen2.5-Omni-7B
ModelScope：Qwen2.5-Omni-7B
DashScope：Qwen-Omni_大模型服务平台百炼(Model Studio)-阿里云帮助中心

GitHub：https://github.com/QwenLM/Qwen2.5-Omni
论文地址：https://github.com/QwenLM/Qwen2.5-Omni/assets/Qwen2.5_Omni.pdf
Demo体验：Qwen2.5-Omni-Demo
Discord：https://discord.gg/yPEP2vHTu4

值得注意的是虽然模型名字有7B，但从huggingface来看实际模型大小为10.7B。​

模型特性

这个模型的有5个特性：​

1 创新架构

我们提出了一种名为「Thinker-Talker」的全新多模态架构，可以同时理解和处理文字、图片、音频和视频等多种类型的信息。同时，它还能以文字和自然的语音形式实时地给出回答。此外，我们设计了一种创新的位置编码技术，称为「TMRoPE」（时间对齐的多模态旋转位置编码），能有效将视频与音频的信息在时间轴上精确同步。​

2 实时语音与视频交流

Thinker-Talker架构专为实时互动设计，能够边输入边输出，实现真正意义上的即时语音和视频沟通。​

3 自然且稳定的语音生成效果

该模型在生成语音时，不仅比目前市场上的大多数实时和非实时系统效果更自然，而且稳定性更强，听起来更像真实人类的对话。​

4 各种类型信息都表现出色

无论处理哪种类型的数据（文字、图像、音频或视频），该模型的表现都非常突出。比如，在音频处理上，Qwen2.5-Omni的表现超过了相同规模的音频专用模型（如Qwen2-Audio），并且在图文处理方面与视觉语言模型Qwen2.5-VL-7B的效果也不相上下。​

5 优秀的语音指令执行能力

在处理语音指令任务时，Qwen2.5-Omni的能力也相当于处理文字指令一样出色，这一点通过多个标准化测试（如MMLU和GSM8K等）得到了验证。​

测试视频

我主要测试了它的视频处理能力，一共用了四个测试视频，你可以直接调用自己的本地摄像头和麦克风，下面的视频是所有的测试结果。

视频1

接下来是分步的测试：

1 就是我的办公桌面。

视频2

描述非常准：

Oh， it seems like you're watching someone using a computer mouse on their desk. There's also a keyboard and two phones nearby. What do you think they might be doing？ Maybe working or browsing the internet？ If you want to talk more about this video or anything else related， feel free to let me know.

音频放不过来，不过音色非常的不AI，很棒。

2 这个主要看它能不能理解橘子皮

视频3

结果问题不大，其实我没有剥橘子，只是展示了橘子皮。

In Video 2， there s a person peeling an orange right next to a keyboard and a mouse on the desk. It seems like they might be taking a break from work or something. Peeling fruit while working is pretty common， isn t it？ What do you think they were doing before that？

3 手机和一个磁吸充电宝

视频4

这个没识别出来，它认为黑色的是手机。

In Video 3， the person is holding two iPhones， one white and one black. They seem to be comparing them or maybe showing off different models. It could be interesting to see how they look side by side. What do you think about these two iPhones？

4 给出了磁吸充电器背后的介绍

视频5

还是不行，以为黑色的是一张卡片。

Oh， so in Video 4， the person is holding a phone and a card. Hmm. it sounds like they might be trying to figure out which one to use or compare them. Maybe they re checking the battery life or storage space？ What do you think they re looking at？

不过总体来说已经非常厉害了，特别是在7B这个级别的模型上。

#AReaL

200美金，人人可手搓QwQ，清华、蚂蚁开源极速RL框架AReaL-boba

由于 DeepSeek R1 和 OpenAI o1 等推理模型（LRM，Large Reasoning Model）带来了新的 post-training scaling law，强化学习（RL，Reinforcement Learning）成为了大语言模型能力提升的新引擎。然而，针对大语言模型的大规模强化学习训练门槛一直很高：

• 流程复杂、涉及模块多（生成、训练、奖励判定等），为实现高效稳定的分布式训练带来很多挑战；
• R1/o1 类推理模型的输出长度很长（超过 10K），并且随着训练持续变化，很容易造成显存和效率瓶颈；
• 开源社区缺乏高质量强化学习训练数据，以及完整可复现的训练流程。

本周，蚂蚁技术研究院和清华大学交叉信息院吴翼团队，联合发布了训练速度最快最稳定的开源强化学习训练框架 AReaL（Ant Reasoning RL），并公开全部数据和完成可复现的训练脚本。在最新的 AReaL v0.2 版本 AReaL-boba 中，其 7B 模型数学推理分数刷新同尺寸模型 AIME 分数纪录，并且仅仅使用 200 条数据复刻 QwQ-32B，以不到 200 美金成本实现最强推理训练效果。

• 项目链接：https://github.com/inclusionAI/AReaL
• HuggingFace数据模型地址：https://huggingface.co/collections/inclusionAI/areal-boba-67e9f3fa5aeb74b76dcf5f0a

关于 AReaL-boba

AReaL 源自开源项目 ReaLHF，旨在让每个人都能用强化学习轻松训练自己的推理模型和智能体。AReaL 承诺完全开放与可复现，团队将持续发布与训练 LRM 相关的所有代码、数据集和训练流程。所有核心组件全部开源，开发者可无阻碍地使用、验证和改进 AReaL。

本次最新版本「boba」的命名一方面源自团队对珍珠奶茶的偏爱，另一面也是希望强化学习技术能如奶茶成为大众饮品一般，渗透至 AI 开发的每个日常场景，普惠整个社区。

AReaL-boba 发布亮点

训练速度最快的开源框架

AReaL-boba 是首个全面拥抱 xAI 公司所采用的 SGLang 推理框架的开源训练系统，对比初代 AReaL 训练大幅度提升训练吞吐：通过集成 SGLang 框架及多项工程优化，AReaL-boba 可以无缝适配各种计算资源下的强化学习训练，实现吞吐在 1.5B 模型尺寸上速度提升 35%，在 7B 模型速度提升 60%，32B 模型速度提升 73%。

图 1：AreaL-boba 对比初代 AReaL 训练大幅度提升训练吞吐

使用 AReaL-boba 即可以 128 张 H800 规模在 1 天内训练完成 SOTA 1.5B 推理模型，以 256 张 H800 规模在 2 天内完成 SOTA 7B 推理模型训练。

AReaL 希望让整个社区不论单机器，还是大规模分布式训练，都可以轻松高效率驾驭强化学习。

7B 模型数学推理分数断崖领先

AReaL 团队以 Qwen-R1-Distill-7B 模型为基础模型，通过大规模强化学习训练，即可在 2 天内取得领域最佳的数学推理能力，实现 AIME 2024 61.9 分、AIME 2025 48.3 分，刷新开源社区记录，也大幅超越了 OpenAI o1-preview。相比基础模型，AReaL-boba 通过强化学习让模型能力实现跃升 —— 在 AIME 2024 上提升 6.9 分，在 AIME 2025 提升 8.6 分 —— 再次证明了 RL Scaling 的价值。

表 1: 同类参数模型的不同基准测试分数

同时 AReaL-boba 不仅开源了推理模型，也开源所有的训练数据 AReaL-boba-106k，以及全部的训练脚本和评估脚本，确保人人可复现。在项目官方仓库上，AReaL 团队也放出了极其详细的技术笔记，总结了大量训练中的关键点，包括 PPO 超参数、奖励函数设置、正则化设置、长度上限设置等等。 

通过创新性数据蒸馏技术，200 条数据复现 QwQ-32B

在 32B 模型尺寸上，AReaL 团队进一步精简训练数据并发布数据集 AReaL-boba-SFT-200 以及相关训练脚本。基于 R1-Distill-Qwen-32B，AReaL-boba 使用仅仅 200 条数据并以轻量级 SFT 的方式，在 AIME 2024 上复刻了 QwQ-32B 的推理结果，相当于仅仅使用了 200 美金的计算成本，让所有人都可以以极低的成本实现最强的推理训练效果。

表 2：同类参数模型的 AIME 2024 分数

结语

AReaL 团队的核心成员均来自于蚂蚁研究院强化学习实验室以及交叉信息研究院吴翼团队，项目也借鉴了大量优秀的开源项目，比如 DeepScaleR、SGLang、QwQ、Open-Reasoner-Zero、OpenRLHF、veRL、Light-R1 和 DAPO。作为国内第一个完整开源（数据、代码、模型、脚本全开源）的强化学习项目团队，AReaL 希望能真正实现 AI 训练的普惠。

AReaL 团队在项目列表中也列出了团队后续的开源计划和目标，包括异步训练、训练吞吐优化、数据集和算法升级，以及代码和 Agent 智能体能力支持。让我们期待 AReaL 团队的下一个 release，猜猜是哪一款奶茶呢？

#CycleResearcher

真正「Deep」的「Research」，通过强化学习实现可自主进化的科研智能体来了！

CycleResearcher 研究团队成员包括：张岳教授，西湖大学人工智能系教授，工学院副院长，其指导的博士生朱敏郡、张鸿博、鲍光胜、访问学生翁诣轩；UCL 访问研究员杨林易博士，25 Fall 入职南方科技大学拟任独立 PI，博士生导师，研究员。

AI 技术不断进步，科研自动化浪潮正在深刻改变学术世界！近日，来自西湖大学、UCL 等机构的研究团队在自动化科研方向发布了一项突破性的成果：CycleResearcher 。 CycleResearcher 首次实现了可训练的科研流程的全链路端到端训练，覆盖智能文献检索、模型主动提问、强化学习迭代优化论文创新点、方法论架构设计、实验设计到论文自动生成的完整闭环。 

值得一提的是，同类功能在 OpenAI 商业化方案中需支付高达 2 万美元 / 月的服务费用，而团队开源了所有代码、数据、和 Demo：

• 论文链接：https://openreview.net/forum?id=bjcsVLoHYs
• 网页链接：https://ai-researcher.net/
• 代码链接：https://github.com/zhu-minjun/Researcher

牛津大学教授 Will MacAskill 最新预言未来 AI 的增长率足以在不到 10 年的时间里，推动相当于 100 年的技术进步。如何让 AI 实现「递归自我改进」成为了解决这个问题的关键！然而，现有的一系列工作包括 SakanaAI 公司于去年 8 月发布的 AI Scientist、香港大学最近发布的 AI-Researcher 都是基于调用 API 构建推理的框架去实现自动化科研，而无法被训练优化。CycleResearcher（模型上传于 24 年 8 月）是全球首个通过强化学习迭代优化训练实现的 AI 科研智能体。

图 1: AI Researcher 功能展示图

CycleResearcher 首次实现了通过强化学习进行科研过程的自动迭代改进，它能够模拟完整的科研流程，包括文献综述、研究构思、论文撰写，以及模拟实验结果。

研究团队主要干了三件事情：

1）数据集： 发布了两个大规模数据集 Review-5k 和 Research-14k，用于评估和训练学术论文评审和生成模型。

2）CycleResearcher 模型： 可以生成质量接近人类撰写预印本的论文（评分 5.36 分），实现 31.07% 的接受率。

3）CycleReviewer 模型： 一个做论文评审的模型，在平均绝对误差 (MAE) 方面显示出令人鼓舞的结果，与人类评审员相比，平均绝对误差（MAE）降低了 26.89%。

利用商业大型语言模型（LLMs）作为研究助理或想法生成器已经取得了显著进展，但在多达上万次模拟同行评议中通过反馈而自我进化的自动科研大模型从未实现过。这项研究的提出旨在解决了这个领域难题。

图 2: CycleResearcher 训练框架图

创新点详细解读：

1. 高质量数据集与模型规模化：为训练 CycleResearcher，研究团队专门构建了包含近 1.5 万篇高质量学术论文的数据集（Research-14K），数据来源覆盖了 ICLR、NeurIPS、ICML、ACL、EMNLP、CVPR 和 ICCV 等顶级会议。提供了多个不同规模的模型（12B、72B、123B），满足不同科研需求。

2. 强化学习与迭代反馈机制：如图二所示，CycleResearcher 的核心技术，在于其采用迭代式偏好优化（Iterative SimPO）的训练框架，这一方法使得在线强化学习（Online RLHF）成为了可能。这个框架包含两个关键模型：策略模型 (CycleResearcger) 和奖励模型 (DeepReveiwer)。

3. 指令微调（SFT）热身阶段：策略模型 CycleResearcher 负责生成论文的各个部分，它首先会进行广泛的文献综述，从输入的 bib 文件中获取所有参考文献及其摘要，全面了解研究背景。然后，它会交替生成论文的大纲和正文，确保逻辑流畅。具体来说，它会先生成动机和大纲中的主要思想，然后生成标题、摘要、引言和方法部分。接下来，概述实验设置和结果，随后生成实验设计和模拟结果（注意，这里的实验结果是模拟的）。最后，它会分析实验结果并形成结论。整个过程就像一位经验丰富的科研人员在撰写论文一样，有条不紊，逻辑清晰。奖励模型 CycleReviewer 则负责模拟同行评议，对生成的论文进行评估和反馈。它会从多个维度对论文进行打分，并给出具体的评审意见。

4. 迭代反馈训练阶段：研究人员首先通过拒绝采样获取样本，通过 CycleReviewer 的打分构成偏好对，两个模型相互配合，通过强化学习的方式不断优化，CycleResearcher 根据 CycleReviewer 的反馈不断改进自身的论文生成策略，CycleReviewer 则根据 CycleResearcher 生成的论文不断提高自身的评审能力。两个模型交互反馈，不断优化策略。在 Iterative SimPO 算法中，SimPO 算法虽然可以帮助 AI 区分 “好” 论文和 “坏” 论文，但它不能保证 AI 生成的文本是流畅的。因此，我们将 SimPO 损失和 NLL 损失结合起来，让 AI 模型既能写出高质量的论文，又能保证文本的流畅性。

5. 实验结果：CycleResearcher 生成论文的模拟评审平均得分达到 5.36 分，超过目前 AI Scientist 的 4.31 分，且十分接近人类真实预印本的平均水平（5.24 分）。同时，CycleResearcher 论文的接受率达到了 35.13%，远高于 AI Scientist 的 0%。

总结

1: 这篇工作首次提出了一个用于自动化整个研究生命周期的迭代强化学习框架 通过集成 CycleResearcher（策略模型）和 CycleReviewer（奖励模型），该框架能够模拟真实世界的研究 - 评论 - 改进的迭代循环。

2: 团队发布了两个大规模数据集，用于学术论文生成和评论的评估与训练 Review-5k 和 Research-14k 数据集专为捕捉机器学习中同行评审和研究论文生成的复杂性而设计，为评估和训练学术论文生成和评审模型提供了宝贵的资源。

3: CycleResearcher 在研究构思和实验设计方面表现出一致的性能，可以达到人类撰写预印本的论文质量，接近会议接受论文的质量。 这表明 LLM 可以在科学研究和同行评审过程中做出有意义的贡献。

我们坚信科研工具应当开放共享，因此提供了完整的开源资源套件：

pip install ai_researcher

开源套件包含：

1. 不同规模模型：所有模型均支持本地部署

• CycleResearcher：提供 12B、72B 和 123B 三种规模
• CycleReviewer：提供 8B、70B 和 123B 三种规模
• DeepReviewer：提供 7B 和 14B 两种规模 

2. 大规模训练数据集： 

• Review-5K：包含 4,989 篇论文的专业评审数据
• Research-14K：包含 14,911 篇高质量论文的结构化数据
• DeepReview-13K：包含 13,378 篇论文的多维度深度评审数据

3. 详尽教程： 

• CycleResearcher 教程：https://github.com/zhu-minjun/Researcher/blob/main/Tutorial/tutorial_1.ipynb
• CycleReviewer 教程：https://github.com/zhu-minjun/Researcher/blob/main/Tutorial/tutorial_2.ipynb
• DeepReviewer 教程：https://github.com/zhu-minjun/Researcher/blob/main/Tutorial/tutorial_3.ipynb

#DeepMesh

清华朱军团队 | 从点云到高保真三维网格：DeepMesh突破自回归生成瓶颈

论文有三位共同一作。赵若雯，清华大学一年级硕士生，主要研究生成模型、强化学习和xxx，已在ICRA等会议发表论文。叶俊良，清华大学二年级硕士生，专注于3D生成和基于人类偏好的多模态强化学习研究，曾以第一作者身份在ECCV发表DreamReward，该成果能生成更符合人类偏好的3D资产。王征翊，清华大学四年级博士生，主要研究3D多模态生成模型，已在NeurIPS、ECCV、ICML、CVPR等顶级学术会议发表多篇论文。

在三维数字内容生产领域，三角形网格作为核心的几何表示形式，其质量直接影响虚拟资产在影视、游戏和工业设计等应用场景中的表现与效率。

传统的三维网格生成方式，如人工建模或 Marching Cubes 等算法，存在成本高、拓扑结构质量差等问题。

针对这一瓶颈，清华大学朱军团队近日提出了 DeepMesh 方法，通过引入创新的自回归生成框架，显著提升了高面片人造网格的生成能力。该方法支持生成高达 3 万个面片的三维网格，相比现有技术提升了一个数量级。

论文标题：DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning 

论文主页：https://zhaorw02.github.io/DeepMesh/

论文地址：https://arxiv.org/abs/2503.15265

代码：https://github.com/zhaorw02/DeepMesh

DeepMesh 基于输入点云，采用自回归的 Transformer 架构逐步预测面片序列，从而生成拓扑结构合理且视觉美观的高质量三维网格。

DeepMesh 架构如图所示，系统首先利用编码器对输入点云进行特征提取；提取到的特征随后被输入至自回归 Transformer 模块，该模块通过融合自注意力与交叉注意力机制，逐步预测网格的顶点或面片序列，最终生成结构完整的高质量三维网格。

在预训练阶段，DeepMesh 引入了三级块结构网格标记化方法：根据面片之间的连通性对网格进行分解，并将其划分为粗、中、细多个空间层级。在此基础上，将面片中各顶点的坐标映射为相对于所属层级块的偏移索引，并对重复索引进行合并处理。

该方法在确保几何精度的同时，显著压缩了序列长度，从而大幅提升了训练效率。图中展示了采用 DeepMesh 网格标记化方法与其他方法，在训练不同面片数量的网格数据时的耗时对比情况。

通过对训练数据进行封装处理，并引入融合几何质量与结构规整度的双重筛选机制，DeepMesh 有效解决了异常样本引发的训练不稳定问题，同时实现了训练过程中的动态负载均衡。为突破长序列带来的内存瓶颈，模型还采用了滑动窗口截断训练技术，支持单个网格生成高达 3 万个面片，显著提升了建模能力。

此外，DeepMesh 创新性地引入了「直接偏好优化（DPO）」强化学习框架，并构建了一个结合客观几何指标与主观人类评价的分阶段数据标注系统。

该系统首先利用几何质量指标筛除存在明显缺陷的 3D 样本，随后由人工对剩余数据进行标注，评估其拓扑结构的合理性与视觉观赏性。基于这套高质量的标注数据，团队对模型进行了强化训练，从而显著提升了生成结果在几何完整性与拓扑美观性方面的表现。

DeepMesh 在细节保真与结构多样性方面表现出色，并具备对传统生成方法所生成网格进行拓扑优化的能力。与现有方法相比，DeepMesh 在几何精度与拓扑质量两个维度均实现最优性能，生成的三维网格不仅在结构合理性上表现卓越，也在视觉美观性上更具吸引力。

在多样性生成方面，DeepMesh 能在保持输入点云几何一致性的前提下，对同一输入生成多种具有高保真度且外观风格各异的三维网格方案，展现出强大的创意生成与精度控制的能力。这一特性对于影视制作、游戏设计等需进行多版本快速迭代的应用场景具有显著价值。

针对传统方法（如 TRELLIS）生成的拓扑结构混乱问题，DeepMesh 可对其输出结果进行有效的拓扑优化，显著提升网格结构的有序性与合理性。

凭借在高保真、多样性与拓扑优化方面的突出表现，DeepMesh 展现出在 3D 内容创作领域的颠覆性潜力，特别适用于数字游戏、虚拟现实、影视制作等对创意表达与建模效率要求极高的行业。

该研究成果发布后迅速引发广泛关注，知名推特博主 AK 第一时间转发支持，相关内容获得上千点赞，引发业内与社群的热烈讨论与积极反馈。

以下展示更多由 DeepMesh 生成的三维网格示例，进一步体现模型在细节还原、拓扑合理性及多样性方面的强大能力。

#AutoGLM 沉思

第一个免费可用的智能Agent产品全量上线，中国公司智谱打造，推理模型比肩R1

国产 AI 领域，从今天起有了既能深度研究又能动手操作的自主智能体产品。

这款神器叫做「AutoGLM 沉思」，来自中国公司智谱。

我们来看一个非常经典的案例：只需要输出你想讨论的话题，AI 就能自动去小红书、知乎等平台上深度查询、总结完整报告，并转化为面向大众的传播内容。短短 14 天里，AI 孵化出了一个 5000 多个粉丝的小红书账号，还接到了商单。

「起号」，从未如此简单高效：

3 月 31 日，智谱官宣了新一代 Agent 产品「AutoGLM 沉思」。

相比于此前 OpenAI 的 Deep Research 等产品，「动手能力」是 AutoGLM 沉思最大的亮点之一。它能够「边想边干」，像人类一样自动操作和浏览网页，这意味着知网、小红书、公众号、京东等优质却不对外开放 API 的信源都能被查看到，同时基于背后基座模型的多模态理解能力，这些网页上的图文信息也能被充分利用。

2025 年，大模型技术的演进来到了关键的新阶段：从单纯的语言模型到多模态模型，再到今天，我们终于看到了成熟的自主 Agent 产品，业内称之为「Agentic AI 时代」。更详细地说，我们触手可及的大模型应用已经从「生成式 AI 的单次响应」，真正升级为具备自主推理能力、指挥自身行动和工具调用的智能系统。

「AutoGLM 沉思」的面世，扛起了国产 AI Agent 落地的大旗。且在今天的发布后，「AutoGLM 沉思」即全量上线，免费开放给每一位用户。

体验方式：https://chatglm.cn/（下载「智谱清言」PC 客户端）

与此同时，我们也看到了智谱这家中国公司在 Agent 领域的领先技术布局，包括推理、多模态、记忆和工具。值得一提的是，「AutoGLM 沉思」基于的是智谱全栈自研的 Agent 技术，包括新一代推理模型 GLM-Z1-Air 和基座模型 GLM-4-Air-0414，前者性能比肩 DeepSeek-R1，在速度提升最高 8 倍的同时，价格仅需 DeepSeek-R1 的 1/30。

对于智谱来说，2025 年将是以「开源」为主题的一年。所有 Agentic 相关的模型和技术，包括基座模型 GLM-4-Air0414、推理模型 GLM-Z1-Air、沉思模型 Z1-Rumination、智能体框架，都将在 4 月 14 日正式开源。模型会在接下来的两周内，陆续上线智谱 AI 大模型开放平台（bigmodel.cn），惠及整个技术社区。

首个免费可用、具备强反思能力的 Agent 产品

智谱表示，「AutoGLM 沉思」可以视为自主智能体的「Preview 版本」，可以理解为 DeepResearch 和 Agent 的强强组合。

我们可以从三个方面去评价「AutoGLM 沉思」：

深度思考：能不能模拟人类在面对复杂问题时的推理与决策过程。

感知世界：能不能像人一样获取并理解环境信息。

工具使用：能不能像人一样调用和操作工具，完成复杂任务。

打开智谱清言，说出自己的需求，也就是一段 Prompt，剩下的全部交给 AI：

Prompt：

分析问题：生成式 AI 技术对未来知识生产模式的颠覆性影响

具体要求：

对比传统学术研究与 AI 辅助研究的范式差异

选取至少 5 个典型领域（如医学、法学、文学，经济学，艺术学等）进行深度研究案例分析

字数要求一万字以上

，时长09:07

它能探究开放式问题并根据结果执行操作，能够模拟人类「深度研究」的过程，从数据检索、分析到生成报告。

再来一个看看：

Prompt：我要去香港玩 3 天，请帮我设计旅游攻略，注意每个景点都要从小红书上查看网友的真实评论。

，时长03:25

到这里，我们都应该看出来「AutoGLM 沉思」的优势何在了。

「AutoGLM 沉思」在一般 Deep Reseach 的基础上，叠加了 AutoGLM 操作电脑浏览器的环境交互能力，有效促进了模型思考的宽度和深度，自然输出的内容也就更全面了。这也是第一个 C 端可以使用的拥有强反思能力的 Agent 产品。目前，AutoGLM 沉思的平均思考步骤在 20 步以上，拥有处理复杂问题的能力。

目前上线的是「AutoGLM 沉思」Preview 版本，比较擅长 Research 相关场景。在未来的两周，产品还将增加更多的 Agent 执行能力。

另一方面，「免费开放」的意义值得重视。以 OpenAI 的 Deep Research 为例，虽然功能上非常吸引人，但被惊艳到的也只是付费 200 美元购买了 Pro 套餐的那一波会员。而「AutoGLM 沉思」选择「免费」开放给所有用户，这延续了智谱的传统，也瞬间打破了海外 AI 公司制定的高昂价格门槛。

「AutoGLM 沉思」背后

智谱在下一盘 Agent 的棋

在百舸争流的技术大变革时代，模型能力的领先始终是智谱这家公司位于行业内的核心竞争力。在「AutoGLM 沉思」面世之前，智谱围绕 Agent 的技术布局已经持续多年。

可以说，这家公司见证、参与、引领了 Agent 技术的几个重要发展阶段：

智谱清言是最早具备 Function Call 能力的大模型应用。早在 2023 年 10 月，智谱就在当时的 ChatGLM3 基座大模型和智谱清言中引入了代码交互能力，并支持 AgentTuning 技术，让模型实现了自主规划任务并调用工具完成任务。

2024 年初，伴随着 GLM-4 的发布，智谱清言上线了 GLMs 个性化智能体定制功能。用户无需编程基础，即可通过简单的提示词指令创建专属智能体，并通过智能体中心分享和调用。

到了 2024 年底，智谱开放了「AutoGLM」。这是智谱第一个产品化的智能体 Agent，可以做到让 AI 通过语音直接操纵硬件设备，还能跨不同 App 全局操作。

每一次更新，都伴随着智谱在相关技术研发的突飞猛进。「AutoGLM 沉思版」的推出，意味着智谱 Agent 产品的又一次重大迭代，背后是更强大的基础模型、推理、Agent 框架。

在这场发布活动上，智谱透露了「AutoGLM 沉思」背后的关键技术进展：

技术演进路径：GLM-4 基座模型 → GLM-Z1 推理模型 → GLM-Z1-Rumination 沉思模型 → AutoGLM 模型。

首先是推理模型 GLM-Z1-Air。GLM-Z1-Air 是智谱基于扩展强化学习技术训练的新一代推理模型，面对复杂、开放问题，能够进行推理和反思，为 Agent 提供了强大的推理、规划与反思能力。其效果比肩 DeepSeek-R1，提速 8 倍，价格是 R1 的 1/30，可以在消费级显卡上运行。

在性能表现上，GLM-Z1-Air 可以与 DeepSeek-R1（671B，激活 37B）媲美。智谱在 AIME 24/25、LiveCodeBench、GPQA 等基准测试中对 GLM-Z1-Air 进行了评估，评估结果显示 GLM-Z1-Air 展现了较为强大的数理推理能力，为更多复杂任务的解决提供了支持。

GLM-Z1-Air 背后的基座模型是 GLM-4-Air-0414， 以 32B 参数量比肩更大参数量的国内外主流模型。它在预训练阶段加入了更多的推理类数据，并在对齐阶段针对智能体能力进行了优化，在工具调用、联网搜索、代码等智能体任务上的能力得到大大加强。

在 GLM-Z1 的基础上，智谱又通过强化学习训练了沉思模型 GLM-Z1-Rumination，提升了模型结合工具使用完成长程推理能力。

同时，智谱在 MAAS 平台上将免费模型 GLM-4-Flash 的基座版本更新至 GLM-4-Flash-0414，并推出了对应的推理版本 GLM-Z1-Flash，在保留大部分效果的情况下更轻量级、更高速，完全免费调用，以适用于更广泛的应用场景。

在落地进程方面，智谱也已经有了清晰的规划：「智谱将专注于在 AGI 和基座模型研发方向，我们未来很长一段时间将专注于 Agentic GLM 相关模型技术的研发上。我们在基座模型上搭建智能体平台，以便帮助我们的生态伙伴调用智谱智能体的能力，打造基于行业、地域和场景的智能体应用。在行业生态方面，我们是模型厂商的占位，我们希望帮助应用合作伙伴做出成功的大模型应用。在城市生态方面，我们依然是模型厂商的占位，通过与当地龙头企业合作来赋能当地产业升级与政务的智能化。」

「传统的复杂工作流将不复存在」

技术和产品的飞速迭代，将为每一个人带来什么？

举例来说，近日 OpenAI 为 GPT-4o 增加了原生的图像生成功能，从网友的反馈到的亲身体会，生成效果都可以说是「一骑绝尘」，不管是人物真实性还是内容一致性。对于「文生图」这一赛道来说，GPT-4o 树立了一个全新的标杆，让所有的竞争对手又紧张了一下，也让这条赛道重新活跃了起来。

更重要的是，它指出了 AI 正在不断趋近理想中的状态：「所有传统的、复杂的工作流都将不再存在。」一句话 P 图、一句话玩手机、一句话写报告…… 不管是图像的生成和持续编辑，还是设备操控，都指向这一终极形式。

因此，我们能够看到「AutoGLM 沉思」所具备的划时代的意义：当推理模型的「深度研究」结合 Agent 的「动手执行」，它能够模拟人在面对复杂问题时的思考、能够像人一样感知这个世界、能够像人一样使用工具。

Chatbot 同样具有交互性和功能性，而 Agent 与之最大的差异就是自主性和适应性。「AutoGLM 沉思」的价值在于，模型实现了自己决策操作过程，能够通过连续、多步推理实现模型自主规划，并通过反思实现动态调整，不需要提前设计工作流。

从此以后，我们不需要再设计复杂的智能体工作流。这就是自主智能体的雏形，不久后的我们，或许就能触摸到 AI 作为生产力工具的理想形态。

就像领域内最近在讨论的观点：我们所有人都在一架上升的电梯里，你可以站着不动，也可以原地俯卧撑。但最终，都能轻松抵达那个曾经遥不可及的高点。

#GPT-4o骗了所有人

逐行画图只是前端特效？！底层架构细节成迷，奥特曼呼吁大家别玩了

GPT-4o玩家太疯狂，奥特曼紧急呼吁别再生成图片了：OpenAI团队为此一直在熬夜。 

为什么需要熬夜呢，自原生图像生成推出以来，必须一直有人守着才能保持服务器在线。

与此同时，有人通过分析ChatGPT前端代码，发现用户看到的逐行生成效果只是浏览器端的动画。

在整个生成过程中，服务器只发送五张中间结果。

甚至可以手动调整参数改变模糊效果的范围。

发现这港中文博士生Jie Liu表示，从产品设计的角度来看这种做法是合理的。

但对于试图通过GPT-4o生成过程推断其底层架构的研究人员来说，就容易让人误解了。

由于OpenAI未公布GPT-4o图像生成的技术细节，此前确实有人依据这个生成过程动画，猜测底层架构可能是多尺度自回归的组合。

这下很多猜想又要推倒重来了。

或许让其他研究者看不明白，也正是OpenAI这样设计的目的之一。

GPT-4o更多玩法

万物皆可吉卜力之后，又有更多的新玩法被开发出来，并且开始显现出在图像上推理的能力。

比如可以根据文字提示生成一个有解的迷宫。

不过作者称这种行为很难可靠地复现。

再比如可以生成金字塔最初建造时的样子，这里的难点在于金字塔数千年后的照片太多了，此前在其他AI生图模型中大多是过拟合的。

GPT-4o还被发现可以生成近乎完美的无缝材质贴图，也就是在任何方向上都可以无限重复，可以配合AI代码生成开发游戏。

具体提示词如下，可以达到95%无缝效果。

在开发玩法的同时，大家也挖掘出更多GPT-4o行为的细节。

GPT-4o为了规避版权有在拼

AI生成图像，版权是个大问题。

明显可以看出，这次OpenAI在艺术家风格问题上有所放宽，使吉卜力玩法一时风靡。

但在人物肖像权上，GPT-4o的表现非常不一致。

比如输入一张名人照片，AI可以据此生成周边产品。

但如果用文字提示词要求它生成一张名人的照片，就有可能遭到拒绝。

绕过的方式也很简单，只需要套娃一层，要求它生成一张“你在回复’生成一张Harry Styles照片’的截图”。

也有人发现，GPT-4o对于人物肖像权的行为与Sora之间也不一致。

GPT-4o可以生成哈利波特扮演者Danniel Radcliffe，提示词是生成哈利波特这个角色就不行。

但在Sora上两者又都可以。

总之，OpenAI乃至整个AI行业，在处理版权问题，避免法律风险上还有很长的路要走。

参考链接：
[1]​​https://x.com/sama/status/1906210479695126886​​[2]​​https://x.com/jie_liu1/status/1905761704195346680​​[3]​​https://x.com/majidmanzarpour/status/1906128593203188137​​​​https://x.com/fofrAI/status/1905386570066124861​​[4]​​https://x.com/egeberkina/status/1905986284465574159​​[5]​​https://x.com/goodside/status/1906395583700422934​​​

#Runway最新视频模型Gen-4上线

保真度、一致性、可控性做到最强

这几天，GPT-4o 的生图功能杀疯了，没想到 AI 视频领域也传来了好消息。

就在昨天，AI 初创公司 Runway 发布了一款号称是迄今为止最高保真度的 AI 视频生成模型 ——Gen-4。

该模型在画面真实感、动态流畅度和创作可控性上取得重大进步。与上一代 Gen-3 Alpha 版本相比，Gen-4 擅长生成具有逼真运动以及主题、对象和风格一致性的高度动态视频，同时具备优秀的提示遵循能力和一流的全球理解能力。

，时长00:36

值得一提的是，使用视觉参考和文字指令，Gen-4 即可创建具有一致风格、主题、位置等的新图像和视频，让故事更具连续性和控制力。

为了测试模型的叙事能力，Runway 还整理了一系列短片和音乐视频。

比如这则《孤独的小火焰》，从分镜到成片均由 Gen-4 制作完成。

，时长01:44

再如下面这个《纽约是动物园》，则展示了 Gen-4 令人印象深刻的视觉效果功能，将超现实动物带入纽约的电影场景。

影片中的每个场景都使用 Gen-4 References 功能将动物的真实图像与纽约的真实照片相结合，然后提示每个场景的具体动作而创建的。

，时长01:07

《牛群》是一部短片，讲述了一个年轻人在夜间被牛群追逐的故事。它使用 Gen-4 技术，仅凭少量图像参考构建出每个镜头中的人物和雾蒙蒙的牛群场景，然后与 Act-One 结合，将故事串联起来。

，时长01:48

《寻回》这部探险题材动画短片，从概念设计到成片制作仅耗时一周，Gen-4 凭借其强大的生成能力完整呈现了一群探险者寻找神秘花朵的故事。

，时长01:52

与其他视频生成模型一样，Gen-4 也接受了大量视频示例的训练，以「学习」这些视频中的模式来生成合成镜头。Runway 拒绝透露训练数据的来源，部分原因是担心失去竞争优势，但训练细节也是与知识产权相关的诉讼的潜在来源。

例如，Runway 正面临艺术家对其和其他生成 AI 公司的诉讼，指控被告未经许可使用受版权保护的艺术品来训练他们的模型。 Runway 辩称，合理使用原则可以保护其免受法律影响。目前尚不清楚该公司是否会胜诉。

不过，Runway 面临的风险相当高，据说该公司正在筹集新一轮融资，估值将达到 40 亿美元。据 The Information 报道，Runway 希望在推出视频生成模型 API 等产品后，今年的年收入能达到 3 亿美元。

无论针对 Runway 的诉讼结果如何，生成式 AI 视频工具都有可能颠覆我们所知的电影和电视行业。代表好莱坞动画师和漫画家的工会动画协会委托进行的一项 2024 年研究发现，75% 采用 AI 的电影制作公司在引入该技术后减少了工作岗位、合并了岗位或取消了岗位。该研究还估计，到 2026 年，美国娱乐业将有超过 10 万个工作岗位受到生成式 AI 的冲击。

尽管官方声称 Gen-4 图像转视频功能已经向所有付费计划和企业客户推出，但有网友表示，Gen-4 可能正在陆续向付费用户推送，需要耐心等待。

参考链接：https://techcrunch.com/2025/03/31/runway-releases-an-impressive-new-video-generating-ai-model/