J_Xiong0117-CSDN博客

原创世界动作模型（WAM）：让机器人学会“先想象，再行动“的下一代具身大脑

摘要：世界动作模型（WAM）作为具身智能的新范式，通过联合建模未来状态预测与动作生成，弥补了视觉-语言-动作模型（VLA）缺乏物理推理能力的缺陷。WAM的核心是学习p(o',a|o,l)，将世界模型的预见能力与动作控制深度融合。其架构分为级联式（先预测未来再解码动作）和联合式（同步生成未来与动作），前者模块化但误差传导，后者高效但设计复杂。训练依赖四类数据：机器人遥操作数据（高精度但稀缺）、便携式人类演示（平衡多样性与精度）、仿真数据（物理精确但存在视觉差距）及互联网视频（规模大但无动作标注）。

2026-05-27 16:58:06 455

原创【Harness篇】01：什么是 Harness Engineering

`Agent = Model + Harness`：模型只占一半，工具/权限/上下文/子代理/持久化等构件构成 harness。本篇梳理 ReAct → Karpathy"LLM 即 OS" → Anthropic 把 harness 推上头条的演化，给出 prompt → context → harness 三层心智模型，并解释为何 2026 是 harness 之年——同模型换 harness 排名能从 #33 跃到 #5。

2026-04-29 11:33:08 490

原创 Agent Memory：让 AI Agent不再失忆

随着AI Agent从单次对话工具向长期协作搭档进化，记忆成为制约其发展的核心瓶颈。本文系统梳理了Agent记忆系统的分类体系、五大技术路线（上下文窗口、RAG、文件系统、知识图谱、多Agent推理）及七大代表性系统，并从架构、检索机制、信息矛盾处理、隐私部署等维度进行横向对比。其中，ASMR以多Agent并行推理的方式在LongMemEval上达到约99%准确率，OpenClaw则以文件+向量混合检索实现了全本地化的隐私友好方案。

2026-03-23 16:17:36 1370

原创【Agents篇】01：AI Agent从概念到实践的全面解析

本文系统性地介绍了AI Agent（人工智能代理）的发展现状与核心技术架构。文章首先阐述了AI Agent的概念定义，指出其相比传统LLM实现了从"知道如何做"到"能够去做"的质变飞跃，具备自主性、反应性、主动性和社交能力等核心特征。然后详细剖析了AI Agent的五层核心架构：大脑（LLM作为控制器）、感知模块（多模态信息接收）、规划模块（任务分解与决策）、记忆模块（经验存储）和行动模块（任务执行）。文章还介绍了主流Agent框架（如OpenClaw、AutoGen

2026-02-02 14:32:07 943

原创视觉语言动作模型 (VLAs) ：赋予机器行动的智慧

视觉语言动作模型（VLA）正推动具身智能迈上新台阶，实现AI从感知理解到物理交互的闭环。作为多模态技术的突破性进展，VLA将视觉编码器、语言编码器和动作解码器融合，赋予机器"看-懂-动"的完整能力链。前沿研究涌现出RT-2、GR00T等标志性模型，通过大规模预训练和架构创新，显著提升机器人的语义理解与任务执行能力。应用场景涵盖人形机器人、自动驾驶和医疗工业领域，NVIDIA的GR00T项目更将推动人形机器人通用基础模型发展。当前研究聚焦具身基础模型、世界建模、视频学习等方向，为通用人工智能奠定关键技术基础。

2025-06-03 17:25:22 1713

原创视觉语言模型 (VLMs)：跨模态智能的探索

近年来，人工智能 (AI) 领域经历了爆炸式发展，深度学习作为核心驱动力，在计算机视觉 (CV) 和自然语言处理 (NLP) 领域均取得了里程碑式的突破！🎉 为了进一步拓展 AI 的能力边界，研究人员开始积极探索如何融合视觉和语言两大模态，构建能够理解、生成并跨越图像和文本的模型。视觉语言模型 (Vision-Language Models, VLMs) 正是在这一背景下应运而生，它致力于弥合视觉与语言之间的语义鸿沟，赋予机器如同人类一般的多模态感知和认知能力。🧠✨。

2025-01-23 16:34:22 2810

原创 LLMs的星辰大海：大语言模型的前世今生

大型语言模型（LLM）的崛起，犹如一场科技的奇点，正以惊人的速度重塑着我们与信息、与世界的互动模式。它们不再是冰冷的机器，而是具备理解、生成、甚至创造能力的智能体，展现出前所未有的潜力。然而，在这令人兴奋的机遇背后，也隐藏着复杂的技术挑战和深刻的伦理思考。本文将基于一系列精选参考文献[1-9]，从概念、技术、应用、挑战等多个维度，以抽丝剥茧的方式深入剖析LLM，共同揭开LLM的神秘面纱。

2025-01-20 18:34:59 1728

原创 Transformer：深度学习的变革力量

而 Transformer 的横空出世，以其独特的注意力机制和并行计算能力，彻底改变了序列建模的范式，为深度学习带来了革命性的变革。对于输入序列中的每个位置，Self-Attention 计算该位置与其他所有位置的关联程度，并根据关联程度加权求和，得到该位置的新的表示。Transformer 的出现是深度学习领域的一次革命性突破，它以独特的注意力机制和并行计算能力，彻底改变了序列建模的范式。RNN 通过循环结构处理序列数据，将当前时刻的输入和上一时刻的隐藏状态相结合，逐步提取序列的特征。

2025-01-09 10:45:19 1661

原创【WAM篇】25：LAPA——不看动作标签，也能从海量视频里学会“怎么动“

LAPA（**Latent Action Pretraining from videos**，"从视频中做潜在动作预训练"）的回答非常硬核：**既然没有真动作标签，那我们就自己"发明"一套动作标签**——从无标注视频里无监督地学出一套抽象的"潜在动作"，先拿它把模型大规模预训练好，最后只用极少量真实机器人数据，把这套抽象动作"翻译"成真正的关节指令。这篇工作发表在 ICLR 2025，是级联式 WAM 中"基于潜在表征的隐式规划"路线上一块重要的奠基石。

2026-06-02 14:10:14 355

原创【WAM篇】24：VILP——在潜在空间里“双机位同步脑补“，把视频规划做到实时

如果说 VPP 是"省掉生成、只取直觉"，那 VILP 就是"保留生成、但把它压到极致地快"。这两种思路在"效率 vs 显式预测"的天平上各押一端，恰好构成一组绝佳的对照。

2026-06-02 14:08:05 248

原创【WAM篇】23：VPP——别真画未来视频了，“预测性视觉表征“才是宝

在级联式 WAM 的"潜在隐式规划"这条线上，有一个绕不开的拦路虎：**像素级视频合成太慢了**。前面 ARDuP 已经在往"潜在空间"挪、想省掉解码回 RGB 的开销，但生成一整段视频依然是个慢动作，离机器人实时闭环控制差得远。**VPP（Video Prediction Policy，视频预测策略）** 在这里给出了一个相当釜底抽薪的答案。它的洞察直白得近乎"投机取巧"：**机器人控制根本不需要那段画出来的视频本身，它只需要视频扩散模型在"打算去画未来"时、脑子里那份关于"世界将如何演化"的内部理解

2026-06-02 14:05:52 366

原创【WAM篇】22：ARDuP——让视频世界模型“盯紧任务相关区域“再行动

从本篇起，我们走进 WAM 谱系里另一条主线：**级联式 WAM → 潜在表征 → 隐式规划**。简单说，就是不再傻乎乎地把整段未来视频一像素一像素地画出来，而是想办法在更高效、更聚焦的层面上做"预测未来"这件事，再从中解码动作。**ARDuP（Active Region Video Diffusion for Universal Policies，主动区域视频扩散通用策略）** 是这条线上一个很有代表性的早期工作。它抓住了前辈们一个被长期忽视的毛病——**视频生成把画面里所有像素一视同仁，结果常常"画

2026-06-02 14:02:53 364

原创【WAM篇】21：RIGVid——让机器人“照着 AI 生成的视频“干活，零演示、零训练

本篇要讲的 **RIGVid（Robots Imitating Generated Videos，机器人模仿生成视频）**，把这条"几何式动作提取"推到了一个相当极端、也相当优雅的地步：它不收集任何真机演示、不做任何机器人专属训练，仅凭一个文生视频大模型"脑补"出的一段操作视频，外加一套纯几何的位姿跟踪与重定向流程，就能让真实机器人完成倒水、揭盖、放铲子、扫垃圾这类带接触、带形变的复杂操作。

2026-06-02 14:00:59 382

原创【WAM篇】20：4DGen——让世界模型直接“做几何梦“，双视角 RGB-D 生成多视图一致的 4D 视频

这一篇的 4DGen（论文题为《面向机器人操作的几何感知 4D 视频生成》）给出了一个更釜底抽薪的方案：**干脆让世界模型在生成 RGB 视频的同时，直接把三维几何（点图序列）一起生成出来**，而且保证从多个相机视角看过去是几何一致的。这样动作提取就能直接在自带几何的"4D 视频"上做，省掉了那道容易翻车的后处理。

2026-05-29 15:41:11 24

原创【WAM篇】19：Dream2Flow——用现成视频模型“做梦“，把 3D 物体流变成开放世界的机器人指令

这一篇的 Dream2Flow 像是把它们的优点又拢到了一起：它**沿用 NovaFlow 那种"借现成视频模型 + 3D 物体流中间表征"的零样本思路**，但目标更野心——要在**开放世界（open-world）**里、对**刚性、铰接、可形变、颗粒状**四大类物体都能用同一套框架搞定，只靠一句话和一张图。

2026-05-29 15:38:32 206

原创【WAM篇】18：LV-P（Large Video Planner）——把“视频“当作机器人的母语，14B 大基座如何用扩散强迫想象未来

这一篇的 LV-P（Large Video Planner，大型视频规划器）反其道而行——它**自己从头训了一个 140 亿参数的视频基础模型**，立志把"视频"做成机器人决策的"母语"，再从模型想象出的视频里重建出人手的三维姿态，映射成机器人末端执行器的轨迹。它依然属于「**级联式 WAM → 像素空间 → 几何式动作提取**」一族：先想象视频，再几何地提取动作。但它最值得讲的，是一个让"想象的视频在时间上更连贯、更可控"的训练技巧——**扩散强迫（Diffusion Forcing）**。

2026-05-29 15:36:41 196

原创【WAM篇】17：NovaFlow——零演示、零训练，让机器人“看着想象的视频“直接干活

文章摘要：NovaFlow提出了一种零样本机器人任务执行框架，无需收集机器人数据或进行训练，仅通过现成的视频生成模型（如Wan 2.1或Veo 3.0）和视觉感知工具，实现任务分解与动作生成。其核心思想是将视频模型生成的物体运动轨迹（3D流）作为通用中间语言，通过几何方法解析为机器人指令。流水线分为五步：视频想象、深度恢复、3D流提取、刚体/软体分治的动作翻译（Kabsch算法优化或物理模拟跟踪）及执行。该方法在跨本体迁移和未知任务场景中展现出强适应性，全程仅需2分钟计算。

2026-05-29 15:34:38 131

原创【WAM篇】16：3DFlowAction——把光流从平面提升到立体，用“3D 流世界模型“驱动跨本体操作

二维光流只能描述物体在画面平面里"上下左右"怎么挪，却天生看不见两样东西：**深度方向的位移（物体离你远了还是近了）**，和**旋转（物体转了多少角度）**。Im2Flow2Act 的倒水任务老是失败，根子就在这——倒水靠的是茶壶绕轴的旋转和壶嘴的高度对准，恰恰都是二维光流的盲区。3DFlowAction（"3D Flow → Action"，从三维光流到动作；arXiv 2025）的破局思路直截了当：**既然二维不够，那就升到三维。

2026-05-29 15:26:31 434

原创【WAM篇】15：Dreamitate——让“工具“当桥梁，把人类演示变成机器人动作

前两篇里，AVDC 和 Im2Flow2Act 都走的是"光流"这条几何提取路线：追踪画面里物体表面密集点的移动，再反解出动作。但几何式动作提取还有另一条同样优雅的支路——**不追踪一堆密集的点，而是直接跟踪一个刚体物体的 6 自由度位姿。** Dreamitate（"Dream"+"imitate"，"在梦里模仿"；CoRL 2024）就是这条路线的代表作。它的招牌创意：**用"工具"作为连接人和机器人的桥梁。** 这个看似简单的决定，恰好一举化解了"具身鸿沟"和"动作提取"两大难题。

2026-05-29 15:23:53 272

原创【WAM篇】14：Im2Flow2Act——把“光流“当成跨域操作的通用接口

Im2Flow2Act（"Image to Flow to Action"，从图像到光流再到动作；论文正式标题是《Flow as the Cross-Domain Manipulation Interface》，"把光流当作跨域操作接口"）这篇 CoRL 2024 的工作，给出了一个更轻盈的思路：**既然我们要的只是运动，那就跳过像素，直接生成光流。**

2026-05-29 15:20:17 249

原创【WAM篇】13：AVDC——只看“无动作的视频“，就能解出机器人该怎么动

AVDC（**Actionless Video** with **D**ense **C**orrespondences，意为"借助稠密对应关系、从无动作视频中学习"）这篇 ICLR 2024 的工作，给出了一个相当漂亮的回答：**既然动作可以靠几何"算"出来，那就别去"学"它了。** 它把级联式 WAM 的第二阶段，从一个需要训练、需要标注的神经网络，换成了一套**零训练、纯解析**的几何流水线。

2026-05-29 15:17:57 307

原创【WAM篇】12：π₀.₇——世界模型画好“未来照片“塞进 VLA，把泛化的担子交给预训练理解力

这一篇 Physical Intelligence 出品的 π₀.₇ 走得更远——**它把第二阶段的"动作提取器"整个换成了一个预训练好的 VLA**。让一个基于 BAGEL 的世界模型先画出近未来的多视角"子目标照片"，连同语言和回合元数据一起塞进 VLA 的上下文窗口，再由 VLA 内部的流匹配动作专家照着这张"想象的未来"出动作。一句话：**泛化的担子，从"学逆动力学"彻底挪到了"VLA 的预训练上下文理解力"上。**

2026-05-29 15:15:43 406

原创【WAM篇】11：VAG——不用 IDM 了，让一个 1D U-Net 直接“听着“视频去解码动作

这一篇的 VAG 给出了一个干脆利落的新答案：**不要专门的 IDM 了**——让视频扩散分支照常完整去噪到像素，同时挂一个**独立的 1D U-Net 当动作解码器**，用视频 U-Net 的中间特征去"喂"它，两条流并肩去噪、协同出动作。它的目标也很有针对性：**为具身智能合成"视频 + 动作"成对的数据**。

2026-05-29 15:13:30 352

原创【WAM篇】10：Veo-Act——前沿视频模型当“领航员“，要接触了就交棒给反应式 VLA

这一篇 Veo-Act 则抛出一个更挑衅的问题：**像 Veo-3 这样最顶级的通用视频生成模型，到底能把机器人操作的泛化能力推到多远？** 它的答案很务实，也很有启发——前沿视频模型擅长"想大方向"，却拙于"抠细节"，于是干脆设计一个**门控机制**，让视频模型负责粗略导航，真到了要碰物体的关键时刻，再把方向盘交给一个反应式的 VLA 策略。

2026-05-28 18:04:04 17

原创【WAM篇】09：Say, Dream, and Act——给“做白日梦“提速，让想象与执行频率彻底解耦

前面几篇里，我们看到级联式世界动作模型（WAM）的一条主线：先让一个视频模型"画出"未来该怎么走，再把这段画面翻译成机器人能执行的动作。这条路最大的吸引力，是能直接借用互联网规模预训练的视频大模型；但它也有两个挥之不去的"原罪"——**做一次"白日梦"太慢**（视频扩散动辄几十步去噪），以及**生成的画面在空间上常常对不准**（手伸过去差几厘米，动作就废了）。这一篇的 Say, Dream, and Act 同时盯上了这两个痛点，给出了一套相当工整的解法。

2026-05-28 17:59:16 122

原创【WAM篇】08：MVISTA-4D——用“先优化整条轨迹、再残差精修“取代逐帧倒推动作

这一篇 MVISTA-4D 直指这套逐步 IDM 的命门——它本质上是"病态"的——并提出一个两步机制把它整个换掉：**先在轨迹层面优化出一个潜变量、再用残差 IDM 精修**。顺带，它还把 4D 世界模型从"单面视角"推向了"多视角几何一致"。

2026-05-28 17:55:50 150

原创【WAM篇】07：Vidar——“一个先验，多种本体“，用 20 分钟数据驯服一台新机器人

这一篇 Vidar 走的是另一条路——把一个互联网级视频大模型继续在具身领域"深造"，让它学会把人类操作视频**转译成机器人执行视频**，再用一个只盯着"交互关键区"的逆动力学模型把动作抠出来。它最惊人的卖点是：**只用 20 分钟的人类演示，就能让一台从没见过的新机器人上手干活。

2026-05-28 17:53:20 159

原创【WAM篇】06：Gen2Act——让机器人“看一段脑补的人类视频“再动手

Gen2Act：零样本视频生成引导机器人动作执行本文提出了一种级联式世界动作模型（WAM）方法Gen2Act，通过将机器人操作任务分解为"视频生成+动作执行"两步，显著降低对机器人交互数据的依赖。核心创新在于：1）直接利用预训练视频生成模型（VideoPoet）零样本生成人类操作视频作为任务演示，完全保留其互联网级泛化能力；2）设计闭环神经策略，结合点轨迹辅助损失将人类视频中的运动意图转化为机器人动作。

2026-05-28 17:50:54 333

原创【WAM篇】05：TesserAct——当视频世界模型学会“立体地“想象未来

本文提出了一种名为TesserAct的4D具身世界模型，旨在解决传统二维视频预测在机器人操作中的几何信息缺失问题。该模型的核心创新在于：提出RGB-DN三模态联合预测框架，通过视频扩散模型同时生成RGB图像、深度图和表面法向图；设计几何优化算法，利用法向信息校正深度预测，构建时空一致的4D点云场景；基于优化后的三维场景提取更准确的机器人动作指令。与现有方法相比，TesserAct将机器人操作的未来想象从二维平面升级到三维空间+时间的4D建模，显著提升了动作预测的几何准确性。

2026-05-28 17:48:27 313

原创【WAM篇】04：This&That——用一句“把这个放到那儿“加两个手势点，消解机器人指令的歧义

本文介绍了一种名为This&That的创新级联式WAM（World Action Model）方法，旨在解决机器人执行任务时纯语言指令的"指代困境"。该方法通过结合语言指示和手势坐标点，实现了更简洁、无歧义的任务传达。核心思想是将用户在第一帧画面上的红、绿两点（分别表示"操作物体"和"目标位置"）与简单指示语（如"pick this to there"）共同作为条件输入给视频扩散模型。

2026-05-28 17:44:21 344

原创【WAM篇】03：RoboEnvision——不再“一帧接一帧硬画“，先定关键帧再补全的长视频规划

摘要： RoboEnvision提出了一种非自回归长视频生成方法，通过“任务分解→关键帧生成→插值补帧”的流水线解决自回归模型误差累积问题。其核心创新包括：(1) 一次性生成所有子任务关键帧，避免逐段生成的误差传递；(2) 设计3D全时空注意力和语义保持注意力模块，确保跨帧几何一致性；(3) 构建长程数据集LHMM并验证长视频训练策略模型的必要性。实验显示，该方法将长程任务成功率从27%提升至67.4%，且关键帧并行生成加速推理。技术亮点在于将电影分镜思维引入机器人规划，通过全局协同生成替代局部接龙式预测。

2026-05-28 17:22:52 434

五子棋代码

空空如也