论文阅读笔记——Phoenix: A Motion-based Self-Reflection Framework for Fine-grained Robotic Action Correction

已于 2025-05-02 13:09:21 修改
阅读量775 收藏 8
点赞数 24
分类专栏： 论文阅读笔记 文章标签： 论文阅读 具身智能 机器人 VLA 思维链
于 2025-04-30 10:32:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Multiple_x/article/details/147626586
版权

Phoenix 论文
传统方法仅通过高层语义调整，但底层仍依赖预训练的子动作；而强化学习在复杂机器人环境中学习效率低，末端执行器位姿调整仅适用于简单规划任务；Phoenix 将多模态大语言模型的语义反思转化为细粒度机器人动作校正，提高泛化能力。
在这里插入图片描述
LLaVA-v1.5 + DP

Dual-process Motion Adjustment Mechanism

  • Motion Prediction Module（MPM）：利用专家示范数据 D e D_e De​，和给定观测 O 和任务描述 T，生成初始运动指令 m i m_i mi​，此时 m i m_i mi​ 仅使用于理想工况；
  • Motion Correction Module（MCM）：利用故障修正数据 D c D_c Dc​，通过思维链的方式调整 m d m_d md​。（延迟很高 avg ≥ 200ms）。
    以 5Hz 的频率提供运动指令。
    在这里插入图片描述
    MPM 通过设定阈值对机器人动作进行筛选，提取主导运动特征，生成包含机械臂方向控制与夹爪控制的运动指令集。实验发现，若将机械臂方向指令与夹爪控制指令分离处理，会导致文本运动指令与细粒度机器人动作之间的不匹配——将方向运动与夹爪控制相结合，形成统一的指令格式，例如"机械臂右移同时保持夹爪闭合"。此外，我们还添加了"微调夹爪位置"等指令，以建模低于阈值的细微机器人动作，最终建立了包含37类运动指令的指导集。

MCM 构建了校正数据集，包含三种反馈：1）humanin-the-loop：当智能体遭遇故障时，人工介入修正运动指令；2）Offline Human Annotation：用运动预测模型收集轨迹数据并采样，标注语义反思和运动校正信息；3）Expert Demonstration：对成功示范轨迹进行自动化标注。
在这里插入图片描述

  • 由于预训练语言模型难以捕捉不同运动指令的判别性特征，故构建可训练的运动码本（motion codebook），对每个决策指令 m d m_d md​ 检索对应的运动特征向量。
  • 由于直接拼接视觉观测与运动特征会导致策略过度依赖视觉信息，故在扩散过程的前向过程注入 O；逆向过程注入运动特征 M；
    L = M S E ( E k , π ( O , M , A 0 + E k , k ) ) \mathcal{L}=\mathrm{MSE}(\mathcal{E}^k,\pi(\mathcal{O},\mathcal{M},\mathcal{A}^0+\mathcal{E}^k,k)) L=MSE(Ek,π(O,M,A0+Ek,k))

实验结果

决策模型使用 LLaVA-v1.5，底层策略采用扩散策略。

  • OpenVLA：对 OpenVLA 模型微调，为多任务实验提供基线性能。
  • 任务条件策略：将任务描述作为扩散策略的条件，不使用反思框架，是 RT-1 和 Octo 的变体。
  • 子目标条件策略：对 LLaVA-v1.5 微调，以 5Hz 频率预测子目标并作为扩散策略条件，不使用反思框架，借助多模态大语言模型语义理解能力，是 PaLM-E 的变体，采用单独扩散策略。
  • 运动条件策略：对 LLaVA-v1.5 微调作为运动预测模型，以 5Hz 频率提供运动指令并作为扩散策略条件，不使用反思框架，利用多模态大语言模型感知和推理能力，是 RT-H 的变体，采用单独扩散策略。
  • 人工干预：手动校正运动条件策略中错误的运动指令，为自反思方法性能提供上限，结果以 10 次试验平均成功率呈现。
    子目标自反思：对 LLaVA-v1.5 微调作为子目标自反思模型并应用于子目标条件策略，验证语义自反思模型的有效性。
    在这里插入图片描述

采用以下消融实验方法：

  • 专家 - 校正混合：我们将专家演示和校正数据混合，共同训练运动预测模型。
  • 带自反思的专家 - 校正混合：我们将专家演示和校正数据混合，共同训练一个统一的模型，以提供初始运动指令并调整指令。
    在这里插入图片描述
细粒度分类：CAL论文笔记——Counterfactual Attention Learning for Fine-Grained Visual Categorization
qq_50001789的博客
06-24 1018
论文《Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification》 本文提出了一种基于因果推理的反事实注意力学习方法，可以让网络学到更有效的注意力。通过比较事实注意力和反事实注意力对最终的影响来评估注意力的质量，同时最大化二者的差异来鼓励网络学习更有效的视觉注意力。CAL仅在训练过程中引入了可忽略的额外计算成本，在测试过程中不会引入任何计算成本。
细粒度分类：B-CNN论文笔记——Bilinear CNN Models for Fine-grained Visual Recognition
qq_50001789的博客
06-23 894
论文题目：《Bilinear CNN Models for Fine-grained Visual Recognition》 本文主要提出了用于聚合二阶统计数据的B-CNN架构，以矩阵外积的形式组合一幅图片的两种特征，使网络充分探索零件特征之间的交互关系，从而使网络更好地理解图像，进一步提高模型性能。
【论文笔记】PyramidFL: A Fine-grained Client Selection Framework for Efficient Federated Learning
weixin_44270151的博客
10-31 2652
PyramidFL:用于有效联邦学习的细粒度客户端选择框架
论文阅读笔记-TransFG: A Transformer Architecture for Fine-Grained Recognition
XZH16047129的博客
03-24 2215
目录 摘要 1.引言 2.相关工作 3.方法 3.1 Vit作为特征提取器 3.1.1 图像序列化 3.1.2 patch嵌入 3.2 TransFG 结构 3.2.1 区域选择模块 摘要 细粒度视觉分类(FGVC)旨在从子类别中识别对象，这是一项非常具有挑战性的任务，因为其固有的微妙的类间差异。现有的工作主要通过重用主干网络提取检测到的识别区域的特征来解决这一问题。然而，这种策略不可避免地会使管道复杂化，并推动建议的区域包含对象的大部分部分，因此无法定位真正重要的部分。 .
论文阅读：Task Discrepancy Maximization for Fine-grained Few-Shot Classification
m0_56224713的博客
10-25 1209
实现细粒度分类
论文阅读笔记 | (ICCV 2017) Multi-Attention CNN for Fine-Grained Image Recognition：MA-CNN
z止于至善的博客
11-11 5164
论文来自中国科学技术大学、微软亚洲研究院以及University of Rochester。 论文下载：Learning Multi-Attention Convolutional Neural Network for Fine-Grained Image Recognition Abstract 识别细粒度类别（例如，鸟类）高度依赖于判别性部分定位（discriminative part ...
论文阅读笔记 | (TIP 2018) Object-Part Attention Model for Fine-grained Image Classification
z止于至善的博客
10-31 2771
论文来自北京大学计算机科学技术研究所多媒体信息处理研究室(Multimedia Information Processing Lab, 简称MIPL)，做细粒度图像分类。 论文下载：Object-Part Attention Model for Fine-grained Image Classification 知乎专栏计算机视觉一隅，文章TIP 2018 Object-Part Attent...
【论文笔记】TransFG: A Transformer Architecture for Fine-Grained Recognition
no_pain_no_gain_的博客
05-13 1921
TransFG简介 简介 2021年3月 由 字节跳动 在 CVPR 发表的一篇细粒度分类文章。 在CUB-200-2011上最高识别精度为 91.7% 作者团队称是将 Transformer 在细粒度分类上的首次运用。（可能是真的，不然名字早该被抢掉了😑） 作者团队在 ...
Fine-grained Post-training for Improving Retrieval-based Dialogue Systems-论文阅读
weixin_44125942的博客
03-13 1781
Fine-grained Post-training for Improving Retrieval-based Dialogue Systems-论文阅读 改进基于检索的对话系统的一个细粒度后训练的方法 发表会议：2021 ACL的北美单元 原文链接：https://aclanthology.org/2021.naacl-main.122.pdf 摘要(翻译)： 当使用预先训练好的语言模型时，基于检索的对话系统表现出优异的性能，其中包括来自transformers（BERT）的双向编码器表示。在多轮反应选
【论文笔记】Fine-Grained Segmentation Networks: Self-Supervised Segmentation for Improved Long-Term Visual
phy12321的博客
09-20 944
针对视觉定位的语义分割网络, ICCV 2019 论文工作的动机： using more segmentation labels to create more discriminative, yet still robust, representations for semantic visual localization 本文主要针对Long-term的视觉定位任务，提出了一个精细化分割网络，可以对场景进行精细化fine-grained的分割，得到相比于现有语义分割网络的分.
《RefineMask：Towards High-Quality Instance Segmentation with Fine-Grained Features》论文笔记
m_buddy的博客
11-13 2848
参考代码：RefineMask 1. 概述 导读：在这篇文章中针对以Mask-RCNN为代表的实例分割模型存在实例分割mask掩膜边界补贴合的问题进行探究，文章指出由于网络存在下采样操作以及RoI Pooling的操作使得进行mask预测的特征图丢失了很多细节信息，进而导致了实例分割结果边界较差的问题。对此文章从如下几个方面对实例分割头部分进行改进： 1）直接使用FPN网络特征图输出的P2P2P2特征图添加几个卷积之后进行语义分割，从而辅助实例分割部分； 2）采用级联优化的形式，逐渐增加mask预测的分辨
细粒度分类：PC论文笔记——Pairwise Confusion for Fine-Grained Visual Classification
qq_50001789的博客
06-23 484
论文题目：《Pairwise Confusion for Fine-Grained Visual Classification》 本文提出了一种成对混淆(PC)优化策略，通过鼓励输出的混淆来提高细粒度视觉分类任务的泛化能力。实验表明，经过PC训练出来的网络显著地改进了模型的定位性能，有利于提高分类的精度。与一般设计新的、复杂的网络结构相比，PC易于实现，不会在训练期间增加过多的开支，并且便于添加到各种网络模型中，来提高模型的性能。
[论文笔记] Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation
weixin_44563093的博客
10-17 367
This paper adopts a fine-grained domain discriminator that not only plays as a domain distinguisher but also differentiates domains at class level
细粒度分类：NTS-Net论文笔记——Learning to Navigate for Fine-grained Classification
qq_50001789的博客
06-23 515
论文题目：《Learning to Navigate for Fine-grained Classification》 本文提出了一种新的无需边界框标注的细粒度分类算法。由navigator模块预测区域信息量，Teahcer模块对预测的信息量打分，利用区域的信息量和置信度(分数)之间的排序损失，对navigator进行优化，最后Scrutinizer模块将综合考虑原图特征以及一些信息量大的区域特征，对图片的类别做出最终的判断，三个模块互相合作，互相加强，有效地提高了网络细粒度的分类能力。
【论文阅读】-周总结-第5周
wangshangshang09的博客
04-27 851
链接论文信息： Liu S, Xu T, Du X, et al. A hybrid deep learning model based on parallel architecture TCN-LSTM with Savitzky-Golay filter for wind power prediction. Energy Conversion and Management, 2024, 302: 118122.内容总结：链接论文信息： Leinauer J, Weber S, Cicoira A, et
论文笔记（八十二）Transformers without Normalization
xzs1210652636的博客
04-30 792
归一化层在现代神经网络中无处不在，并且长期以来被认为是必不可少的。本工作表明，通过一种非常简单的技术，不使用归一化的Transformer也能达到相同或更好的性能。我们提出了动态Tanh (Dynamic Tanh——DyT)，一种逐元素操作$\text{DyT}(x)=\tanh(\alpha x)$，可作为Transformer中归一化层的直接替代。$\text{DyT}$的灵感来源于观察到Transformer中的层归一化通常会产生类似tanh的“S型”输入输出映射。通过引入$\text{DyT}$，
论文阅读：2024 ACM SIGSAC Membership inference attacks against in-context learning
CSPhD-winston的博客
04-30 769
在这个示例中，语言模型要完成的任务是根据问题的答案类型进行分类，比如答案类型可能是数字（Number）、地点（Location）、人物（Person）、描述（Description）、实体（Entity）或缩写（Abbreviation）。：帮助理解ICL的工作方式，它通过在输入中添加提示（包含指令和演示示例），让语言模型在不更新自身参数的情况下，通过类比示例来完成特定任务。这篇论文主要研究了大语言模型中上下文学习（ICL）的隐私安全问题，提出针对ICL的成员推理攻击方法，并探索了相应的防御策略。
论文阅读：2024 ICML In-Context Unlearning: Language Models as Few-Shot Unlearners
CSPhD-winston的博客
04-30 721
这篇论文主要介绍了一种针对大语言模型（LLMs）的新型遗忘学习方法——上下文内遗忘（In-Context Unlearning，ICUL），旨在解决从模型中删除特定训练数据的问题。Figure 1：上下文内遗忘与标准遗忘的差异。Figure 2：上下文内遗忘的示例。
论文阅读：MAXIM Multi-Axis MLP for Image Processing
最新发布
Matrix-11
05-01 704
近年来，Transformer 和多层感知机（MLP）模型的发展为计算机视觉任务提供了新的网络架构设计。尽管这些模型在图像识别等许多视觉任务中已被证明是有效的，但在将它们应用于底层视觉任务时仍存在挑战。对高分辨率图像支持的灵活性不足以及局部注意力机制的局限性，可能是主要的瓶颈所在。在这项工作中，我们提出了一种基于多轴 MLP 的架构，称为 MAXIM，它可以作为一种高效且灵活的通用视觉主干架构，用于图像处理任务。MAXIM 采用了 U 型网络的分层结构，并通过空间门控的 MLP 实现了长距离的交互。
Bridging VLM and KMP: Enabling Fine-grained robotic manipulation via Semantic Keypoints Representation
03-22
### 连接视觉语言模型与运动规划以实现细粒度机器人操作 为了实现通过语义关键点表示连接视觉语言模型（VLM）与运动规划（KMP），从而完成细粒度的机器人操作，可以考虑以下几个方面： #### 1. 高维决策到Meta-action的一对一映射 利用Meta-action Encoder \( \phi \)，能够将大语言模型（LLM）输出的高维度决策转化为具体的元动作（meta-action）。这一过程依赖于可学习嵌入矩阵\( E_{\text{act}} \)，它实现了从抽象的语言描述到具体物理行为的有效转换[^1]。 #### 2. 自然指导与自我指导相结合的方法 借鉴《Semi-Instruct: Bridging Natural-Instruct and Self-Instruct for Code Large Language Models》中的方法论，可以通过半监督的方式构建训练数据集。这种方法不仅增强了模型对于复杂任务的理解能力，还提高了其泛化性能[^2]。 #### 3. 数据驱动的知识获取机制 基于《Knowing When to Ask -- Bridging Large Language Models and Data》，提出了一个框架来决定何时向外部数据库查询额外的信息。这种策略有助于减少错误率并提升系统的可靠性[^3]。 #### 技术实现路径 以下是可能的技术路线图以及其实现方式： - **语义解析模块**：采用预训练好的多模态模型作为基础架构，输入图像或视频片段提取场景内的对象及其属性特征； - **关键点检测网络**：设计专门用于捕捉目标物体上特定部位位置关系的关键点预测算法； - **交互逻辑生成器**：借助强化学习或者模仿学习技术教导机械臂按照指定顺序执行一系列子任务直至达成最终目的。 ```python def execute_fine_grained_manipulation(vlm_output, kmp_plan): """ Execute fine-grained robotic manipulation based on VLM output and KMP plan. Args: vlm_output (dict): Output from the visual language model containing semantic keypoints. kmp_plan (list): Sequence of kinematic motion planning steps. Returns: bool: True if successful; False otherwise. """ meta_actions = [] for step in kmp_plan: action_embedding = phi(step) # Convert high-dimensional decision into a meta-action via φ meta_action = decode_meta_action(action_embedding) meta_actions.append(meta_action) success = perform_robotic_operations(meta_actions, vlm_output['keypoints']) return success def decode_meta_action(embedding_vector): """Decode an embedding vector back into its corresponding physical operation.""" pass # Placeholder function def perform_robotic_operations(operations, keypoints): """Perform operations according to given sequence while considering detected keypoints.""" pass # Placeholder function ``` 上述伪代码展示了如何结合来自VLM的结果与由KMP制定的动作序列共同指引实际设备运作的过程。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值