- 博客(166)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 【IDM】Inverse Dynamics Model 逆动力学模型
前沿的 WAMs 正在将视频和动作解耦，把视频预测从“决定动作的唯一前置蓝图”，降级为“辅助动作生成的条件信号”或“训练期的正则化约束”。LingBot-VA通过混合 Transformer (MoT) 架构和交织序列，让视频和动作在底层共享 KV-Cache，并在执行后用真实观测画面强制替换预测画面，打破了闭门造车的误差累积。DreamZero。
2026-04-15 10:34:41
725
原创 【World Model（一）】WM的定义与World Action Model 的差异和联系
AC-WM 的核心是前向动力学（Forward Dynamics），即给定当前状态和系统执行的动作，预测世界未来的状态演变。基础概率方程pot1tk∣otat1tkpot1tk∣otat1tk。这表示在给定当前视觉观测oto_tot以及未来要执行的动作序列at1tkat1tk的条件下，预测未来kkk步的视觉观测结果ot1tkot1tk。潜空间形式（Latent-Space）
2026-04-15 09:27:33
710
原创 【生成模型（四）】Say Goodbye to VAEs
背景：潜在空间建模一直是扩散 Transformer (DiTs) 的标准范式。问题：这种方式依赖两阶段流程，预训练的自编码器（Autoencoder）会引入有损重建，导致误差累积并阻碍联合优化。方法：作者提出了 PixelDiT，这是一个消除自编码器需求的单阶段端到端模型，直接在像素空间学习扩散过程。架构：PixelDiT 采用全 Transformer 架构，具有双层设计：Patch-level DiT：捕捉全局语义。
2026-01-26 13:59:24
693
原创 【VLA（三）】近期思考
其次，VLM 在通用基准上的表现，或者在语言理解、VQA、图文对齐等经典任务上的能力，不能作为其在机器人操作任务中表现的可靠预测指标。LLM 的优势在于建模高层语义、组合结构和可语言化的中间概念，而当训练信号只是一串缺乏语义锚定的 action 数值时，LLM 很难发挥这些能力，最终往往退化为一个昂贵的函数逼近器。但问题在于，机器人动作本身是一种信息密度极低的监督信号，它只描述了某一时刻的控制结果，而没有显式刻画物体结构、可供性、接触关系或任务阶段等高层语义。VLM的视觉特征不足以支持低层级的动作控制。
2026-01-19 21:58:53
655
原创 【Archived 2025】
在具身智能本身的研究上，从学术角度看，数据采集无疑已经呈现出一条相对清晰且可扩展的路径，例如 UMI 所代表的范式，正在为大规模学习提供现实基础。因为几乎与此同时，“第一性原理”的另一种声音又在我脑海中提醒我：当数据规模足够大、分布足够丰富时，这些人为设计的结构，或许终将被统计学习所吸收。我越来越清晰地意识到，脑海中那些看似深刻、甚至自洽的想法，如果无法经受真实系统与大规模部署的检验，终究只是沙盒中的假设。但我希望在自己人生的黄金岁月，在人工智能的浪潮中，在机器人革命尚未定型的历史窗口期，选择继续向前。
2026-01-04 22:31:51
461
原创 【自回归新范式】diffusion forcing & self forcing
下一词预测模型 (Teacher Forcing, AR models):可生成变长序列；支持在线反馈控制。缺乏全局引导机制（Guidance），无法优化特定非局部目标；在连续数据（如视频）的长时生成中容易因误差累积而发散（Exposure Bias）。全序列扩散模型 (Full-Sequence Diffusion):支持通过分类器指导（Classifier Guidance）生成高奖励轨迹，适合规划任务；生成连续信号质量高。通常采用非因果（Non-causal）、全序列掩码架构，生成长度固定；
2025-12-19 10:29:17
1432
原创 【VLA（二）】基于历史信息的VLA（解决nonMarkov问题）
当前的大型视觉-语言-动作（VLA）模型（如OpenVLA）虽然在通用机器人策略学习方面表现出色，但在处理交互式机器人任务中的时空动态（spatial-temporal dynamics）方面仍显不足。现有的VLA模型往往缺乏对过去运动轨迹的感知，导致其决策更多是基于当前输入的“反应式”决策，而非基于空间历史的知情决策。为了解决这一问题，本文提出了视觉轨迹提示（Visual Trace Prompting）技术。通过将状态-动作轨迹以可视化的方式叠加在图像上，显式地为VLA模型提供时空意识。
2025-12-03 12:21:09
1019
原创 【VLA（一）】CogACT 3D-CAVLA (CoT RoI) Evo-0 (VGGT) SpatialActor(Raw Depth&Pre-trained Depth Exper)
CogACT与3D-CAVLA：机器人视觉-语言-动作模型的创新突破 CogACT提出了一种解耦架构的VLA模型，通过分离认知（VLM）与动作（DiT）模块，采用扩散模型处理连续动作空间，并创新性地提出自适应动作集成算法，显著提升了动作精度和多模态处理能力。实验表明，增加动作模块参数比单纯扩大VLM更有效。 3D-CAVLA则针对VLA模型在未见任务中的泛化问题，通过整合3D深度感知、思维链推理和任务导向ROI检测，增强了空间理解和逻辑分解能力。其轻量级深度编码器和任务感知注意力机制，使模型能更好地适应新场
2025-12-02 21:21:49
925
原创 【生成模型（三）】Flow Matching for Generative Modeling
流ϕ01×Rd→Rdϕ01×Rd→Rdddtϕtxvtϕtx(1)dtdϕtxvtϕtx))1ϕ0xx(2)ϕ0xx2ϕtx\phi_t(x)ϕtx的含义：表示在时间ttt时，从初始位置xxx出发的粒子所在的位置例如，ϕ0xxϕ0xx表示在时间t0t=0t0时，粒子位于xxxϕ1x\phi_1(x)ϕ1x表示从x。
2025-11-06 09:00:00
1003
原创 【生成模型（二）】Denoising Diffusion Probabilistic Models
What are Diffusion Models?扩散模型之DDPM【生成模型（一）】Score-Based Generative Models我们必须先搞清楚一个根本性的问题：答案是：换句话说：我们定义前向扩散过程为马尔可夫链：q(xt∣xt−1)=N(xt;1−βtxt−1,βtI)q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t} \mathbf{x}_{t-1}, \beta_t
2025-11-05 10:28:37
417
原创 【生成模型（一）】Score-Based Generative Models
pxpx步骤问题解决方案1数据来自分布pxpx目标是建模pxpx2用pθxefθZpθxefθZ表示通用，但ZZZ难算3用 MLE 训练 → 需要ZZZ不可行！4转而学 score∇logpx∇logpx不依赖ZZZ！5用 Score Matching 训练sθsθ无需真实 score！6用 Langevin Dynamics 采样仅需 score！7。
2025-11-04 21:36:51
1116
原创 【VLA & Markov】VLA 架构和构建模块 与 Markov 带来的时序思考
视觉语言动作模型（VLA）的常见框架包括Transformer结合离散动作token、扩散动作头或扩散变换器，以及利用预训练视觉语言模型（VLM）的变体。这些架构通过离散或连续token输出动作，并结合扩散模型提升平滑性和实时响应能力。此外，融入世界模型的设计（如GR-1）通过端到端预测未来图像和动作，增强了事件预测能力。GR系列模型的迭代（如GR-3）进一步整合VLM和扩散变换器，实现了分层结构和高效动作生成。这些方法通过视频生成预训练和机器人数据微调，提升了任务适应性。
2025-10-29 17:53:57
939
原创 【Feed-forward optimization】 in Visual Geometry Grounded and 3DGS
几种 Feed-Forward 3DGS 路线
2025-08-22 16:11:01
1704
原创 【CVPR2025】FlowRAM：用区域感知与流匹配加速高精度机器人操作策略学习
在高精度任务中，机器人操控对于众多对精度和速度要求极高的工业和实际应用至关重要。然而，目前基于扩散的策略学习方法由于推理过程中的迭代去噪过程，计算效率普遍较低。此外，这些方法并未充分挖掘生成模型在增强3D环境中信息探索方面的潜力。为此，我们提出了FlowRAM，这是一个利用生成模型实现区域感知的全新框架，能够高效地处理多模态信息。具体而言，我们设计了一个动态半径调度机制，它能够实现自适应感知，促进从全局场景理解到细粒度几何细节的过渡。此外，我们集成了状态空间模型来整合多模态信息，同时保持了线性计算复杂度。
2025-07-30 19:51:32
1804
原创 【GaussianEditor】代码理解和输出格式
使用 kitchen 数据集和指定的初始高斯点云，基于 tractor 的语义掩码进行训练，从 0 开始 densify 高斯点，在训练过程中加入 anchor 约束损失和 inpaint 操作，训练最多 2000 步，并将结果记录到 wandb 项目 del_tracker 中。update_mask() 是从文本语义出发，构建“哪些高斯点属于待编辑目标”的方法，确保模型在训练时能聚焦在正确区域，是真正实现“语言驱动 3D 编辑”的基础桥梁。这种层次化结构有助于在训练过程中逐步细化模型，提高渲染质量。
2025-06-08 15:24:34
1185
1
原创 【RoboSplat】代码理解和输出格式
本文介绍了RoboSplat项目中基于高斯点云渲染的数据增强系统架构。代码仓主要包含数据目录(data/)和增强脚本目录(data_aug/)，其中核心脚本generate_demo.py通过将原始专家轨迹(.h5文件)进行高斯渲染重演，生成新的增强轨迹。关键流程包括：1)提取夹爪状态变化的关键帧；2)对关键位姿施加随机的平移和旋转扰动；3)使用逆运动学(IK)和插值生成新轨迹；4)高斯渲染生成图像序列。该系统能够有效扩充机器人演示数据，支持物体位姿、视角和外观等多种增强方式，为机器人学习提供更丰富的训练样
2025-06-02 17:20:30
1093
1
原创 【Gaussian Splatting & InstantSplat】代码理解和输出格式
本文记录3D Gaussian Splatting（3DGS）的环境搭建与源码解析。
2025-05-29 22:02:39
1163
原创 【附录】What should be included in the appendix?
本文展示了sgr和3da任务的描述图例及相关超参数配置，并分析了3da任务的失败案例。内容包括任务图示、参数设置表格以及错误示例图片，聚焦于模型性能评估与优化方向。通过图文结合的方式，系统呈现了实验设计与结果分析的关键信息。
2025-05-27 12:10:18
291
原创 【RL in VLA】VLA中的强化学习
本文提出了一种名为 Reinforcement Learning Distilled Generalist（RLDG） 的方法，通过强化学习生成高质量训练数据来微调机器人基础模型。通过在多个精确操作任务上的实验，我们证明了 RLDG 在成功率和泛化能力上显著优于使用人类演示的传统微调方法。RLDG 不仅减少了对人类演示数据的依赖，还展示了在复杂多阶段任务中的灵活性和有效性。
2025-04-14 12:15:02
2200
原创 【VLA 中的 VLM】(一) SigLIP 与 PaliGemma及其后续改进
PaliGemma 2 的核心在于将 PaliGemma 所使用的 SigLIP-So400m 视觉编码器与 Gemma 2 系列的全部语言模型结合，涵盖从 2B 到 27B 的各种模型规模。下图：输入图像通过图像Encoder（SigLIP）转换为一系列标记，文本通过 Gemma 的 SentencePiece 分词器转换为标记并嵌入，然后将图像标记和文本标记组合成输入序列（full attention），语言解码器自回归地生成预测文本（casual attention）。
2025-03-31 11:33:21
1977
翻译 【论文阅读】Autoregressive Models in Vision: A Survey
自回归模型在自然语言处理（NLP）领域取得了巨大成功。最近，自回归模型在计算机视觉中也成为一个重要的研究领域，它们在生成高质量视觉内容方面表现出色。与NLP中通常操作的子词元不同，计算机视觉中的表示策略可以在不同层级变化，即像素级、标记级或尺度级，反映了视觉数据与语言的序列结构相比的多样性和层次性。本综述全面检查了应用于视觉的自回归模型文献。为了提高来自不同研究背景的研究人员的可读性，我们首先介绍视觉中的初步序列表示和建模。
2024-12-29 16:55:13
1155
1
原创 【Robocasa】Code Review
本教程提供了在 robomimic 中实现自定义算法的示例。我们选择实现最近提出的TD3-BC算法。实现 TD3-BC 的自定义Config类。实现 TD3-BC 的自定义Algo类。现在我们定义我们的扫描。policy learning rate，范围为 [1e-3, 1e-4]是否使用 GMM 策略是否使用 RNN 维度为 400 且 MLP 尺寸为 (1024, 1024)，或者 RNN 维度为 1000 且没有 MLP注意，学习率位于group1，GMM 启用参数位于group。
2024-12-02 19:34:52
1809
原创 【论文阅读】点云预测-机器人操作
摘要： 本研究提出了一种名为IMAGINATION POLICY的多任务操作策略网络，旨在解决高精度的拾取和放置任务。与传统的动作直接生成方法不同，IMAGINATION POLICY通过生成目标状态的点云并利用刚性动作估计来推断动作。通过引入任务中的几何对称性，IMAGINATION POLICY提高了样本效率，并在RLbench基准上表现出优异的性能。
2024-11-27 13:26:24
1769
1
原创 【论文阅读】三平面相关与变体
相当于点查询公式，TPV 平面沿各自正交方向扩展并相加时，构造出类似于体素特征空间的全尺寸 3D 特征空间，但存储和计算复杂度仅为 O(HW + DH + W D)，比体素对应项低一个数量级。与 BEV 相比，由于 TPV 中的三个平面彼此垂直，因此沿一个平面正交方向的点特征会被从其他两个平面采样的特征所多样化，而 BEV 表示会忽略这一点。具体而言，为了获得 3D 空间中点的特征，我们首先将其投影到三个平面中的每一个平面中，并使用双线性插值来获得每个投影点的特征。
2024-11-25 22:00:47
1699
1
原创 【论文阅读】skill code 和 one-shot manipulate
自然语言，作为人类获取新知识的首要媒介，为将人类理解的概念转化为机器可学习格式提供了潜在的直观桥梁。在顶层，模型的任务是学习离散的技能代码；而在底层，策略网络将问题转化为体素化网格，并将离散化的动作映射到体素网格上。我们提出了一种名为不变匹配一次性策略学习（Invariance-Matching One-shot Policy Learning, IMOP）的算法。
2024-08-29 15:34:31
1294
1
原创 【论文阅读】通用的语义-几何表征的机器人操作
旨在通过改进视觉和动作表示来提高样本效率。SGRv2的核心设计是引入了一个关键的归纳偏差——动作局部性（action locality），它认为机器人的动作主要受目标物体及其与局部环境的交互影响。
2024-08-21 20:57:44
1710
2
原创 【强化学习——AI问答】在强化学习部分遇到的模糊概念
由于噪声的均值为0，所以对Q的均值求期望，就等于对x求期望。然而，Q最大值的期望却会大于等于x的最大值，且Q最小值的期望也会小于等于x的最小值。状态价值函数(State-value function)，是不是任何一个策略pi，执行下一步所有可能的动作所带来的动作价值的期望。理解为，当前状态下，执行所有可能动作的带来的收益，一定程度上反映了当前状态的优劣？我是这样理解的：DQN是要学一个最优动作价值函数，而最优动作价值函数是在t时刻动作和环境下的，回报期望最大值。强化学习中DQN算法是基于价值学习的。
2024-07-08 09:11:29
421
原创 【论文阅读】LLM+3D (1)
1）利用3DSG的层次性质，允许LLMs通过语义搜索从完整图的较小、压缩表示中寻找与任务相关的子图；2）通过集成经典路径规划器来缩短LLM的规划范围；3）引入一个迭代重规划流程，利用场景图模拟器的反馈来细化初始计划，纠正不可行的动作，避免规划失败。SHAPELLM 架构：SHAPELLM 结合了一个预训练的3D编码器和一个大型语言模型（LLM），用于有效的3D表示学习和理解。特别是，采用了 LLaMA 作为其 LLM，并提出了一个名为 RECON++ 的新型3D模型作为3D编码器。
2024-07-05 13:56:03
2280
1
原创 【Diffusion policy】
3D 感知表示非常适合机器人操作，因为它们可以轻松编码遮挡并简化空间推理。许多操纵任务在末端执行器姿态预测中需要高空间精度，这通常需要高分辨率的 3D 特征网格，而处理起来的计算成本很高。因此，大多数操纵策略直接在 2D 中运行，而忽略了 3D 归纳偏差。在本文中，我们介绍了 Act3D，这是一种，它使用 3D 特征场来表示机器人的工作空间，其自适应分辨率取决于手头的任务。该模型使用感测深度将 2D 预训练特征提升到 3D，并利用它们来计算采样 3D 点的特征。
2024-05-31 08:44:26
1427
原创 【Multi-Task Robotic Manipulation】
PERPACT 使用 Perceiver Transformer 对语言目标和 RGB-D 体素观察进行编码，并通过“检测下一个最佳体素（voxel）动作”输出离散化动作。与操作 2D 图像的框架不同，体素化 3D 观察和动作空间为有效学习 6-DoF 动作提供了强大的结构先验。虽然 PERACT 功能相当强大，但将其扩展到灵巧的连续控制仍然是一个挑战。PERACT 受基于采样的运动规划器的支配来执行离散动作，并且不容易扩展到像多指手这样的 N-DoF 执行器。
2024-04-06 08:37:27
2007
原创 【Functional Affordances】如何确认可抓取的区域？（前传）
如何确定可抓取的区域、利用stable diffusion特征、语义之间的correspondance。
2024-03-27 09:25:18
1097
原创 【Functional Affordances】机器人manipulation
本文介绍了Robo-ABC框架，这是一个旨在提高机器人在操作任务中泛化能力的方法，特别是在面对未见过的物体时。Robo-ABC通过从互联网上的人类视频中提取可操作性记忆（包括接触点），使机器人能够通过检索视觉或语义上相似的物体来获取新的可操作性。该框架利用预训练的扩散模型自然地建立对应关系，从而实现跨不同物体类别的可操作性映射。Robo-ABC不需要手动注释、额外训练、部分分割、预编码知识或视角限制，就能以零样本的方式泛化操作跨类别物体。
2024-03-26 11:22:22
2549
原创 【强化学习抓取】偏机器人领域（略）
尽管双指抓取已经在文献中得到了广泛的研究，但多指机器人手的抓取仍然是一个开放的问题。类人手提供了执行灵巧任务的机会，例如物体重定向和使用工具（如锤子），但同时也带来了控制上的挑战，因为需要控制的自由度（DoFs）数量众多，使得寻找合适的操控策略变得困难。深度强化学习（DRL）的最新进展提供了设计高维控制策略的工具，而无需对环境和手部进行特定建模。然而，现有的无模型算法（如SAC或PPO）在学习多指操控任务时效率不高，因为在这些情况下，由于问题的高维性，环境的有效探索在策略优化的初始阶段是不可行的。
2024-03-12 11:32:16
1774
原创 【论文阅读-基于地图重建的导航】Vison-Language Navigation （3）
为了表示以前访问过的环境，VLN 的大多数方法使用循环状态、拓扑图或自上而下的语义图来实现内存我们构建了自上而下的自我中心和动态增长的网格记忆图(即GridMM)来构建访问的环境。从全局角度看，历史观测以自上而下的视角投影成统一的网格图，更能体现环境的空间关系。从局部的角度出发，我们进一步提出了一种指令关联聚合方法来捕获每个网格区域的细粒度视觉线索。大规模预训练在视觉和语言导航（VLN）任务上取得了有希望的结果。
2024-03-04 10:39:59
2154
1
原创 【论文阅读-基于VilLBERT方法的导航】Vison-Language Navigation 视觉语言导航（2）
视觉和语言导航(VLN)需要一个具身的智能体在现实的3D环境中使用自然语言指令进行导航。现有的VLN方法在小规模环境或不合理的路径指令数据集上进行训练，限制了对不可见环境的泛化。YouTube上有大量的房屋游览视频，提供了丰富的真实导航体验和布局信息。然而，这些视频之前还没有为VLN进行过探索。在本文中，我们提出通过创建一个大型数据集来从这些视频中学习智能体，该数据集包含来自房屋参观视频的合理路径-指令对（path-instruction pair），并在其上预训练智能体。
2024-03-01 21:13:15
1581
1
原创 【论文阅读】Vison-Language Navigation 视觉语言导航（1）
我们研究了一个简单的框架，车轮上的CLIP（CoW，CLIP on Wheels），以在不进行微调的情况下使开放词汇模型适应这项任务。为了更好地评估L-ZSON，我们引入了PASTURE基准，该基准考虑了查找不常见的对象、由空间和外观属性描述的对象以及相对于可见对象描述的隐藏对象。我们将CoW视为一个使用开放词汇表模型（open vocabulary model）和基于文本的界面在更灵活的环境中处理机器人任务的例子。
2024-02-27 10:18:34
4238
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人