MatchU学习

---

论文题目

MatchU: Matching Unseen Objects for 6D Pose Estimation from RGB-D Images

概况

• 类别：论文
• 标签：6-Dof、Pose Estimation、novel instance
• 发表刊物 / 会议 时间：2024

背景 (说明所做的问题、解决该问题的意义、简述现有方法存在的问题)

1.问题

• 目前姿态估计工作致力于处理novel instance，现有的方法中，基于手工特征+PPF、基于sfm+matching、基于模板的方法都需要较大的计算开销
• 基于描述符的方法可以用于将对象的深度像素与其3D模型相匹配，但描述符还需要旋转不变性来减轻旋转歧义，以及目前的方法没有充分利用RGB信息
• 我们的目标是通过设计一个旋转不变和对称感知的主干，有效地融合RGB和深度信息，实现两全其美。

主要创新点（先一句话描述该文所做的事情，再分点讲创新点）

一句话：
提取旋转不变描述符，这些描述符可以在广泛范围的对象之间共享，从而促进对未见对象的泛化。为了解决旋转不变性引入的歧义问题，引入了一种新型的2D-3D融合模块，并提出了一种新颖的桥接粗匹配损失，利用RGB信息增强几何描述符的学习。
创新点

• 提出了MatchU，一种6D姿态估计融合描述-匹配策略，该策略提取融合的RGB-D输入特征，旨在将未见的3D CAD模型注册到场景中的对象。
• 新型的潜在融合注意力模块，用于有效地融合纹理和几何特征，以从RGB-D数据中实现通用姿态估计，并用桥接粗匹配损失训练MatchU。
• 学习融合特征表示而固有地捕捉对称性，而不需要额外的注释

方法

• 旋转不变描述符的提取至关重要，因为它允许我们的方法在不依赖显式对称注释的情况下固有地捕捉和建模对象的自然对称性
• 提出了一个2D-3D fusion模块，Latent Fusion Attention Module，结合几何和纹理特征，减轻对称引入的模糊
• 我们提出了一种新的桥接粗略水平匹配损失，它利用RGB信息来增强几何描述符的学习

1. 问题描述&overview

输入：CAD（点云P）、RGB_crop、D_crop（点云Q）
建立P、Q对应关系，实现位姿估计

• 提取P、Q的特征
  

• 根据特征的相似性建立P和Q的对应关系
  

• 最小二乘优化、
  

2. 特征提取

2.1 3D特征

利用基于transformer的RoITr获得旋转不变的局部3D几何描述符

• P、Q经过FPS降采样得到超级点
• 超级点在半径为r的邻域内提取局部特征
• 然后通过一系列注意力块将局部几何线索投影到潜在空间中，我们从中获得固有旋转不变的局部3D几何描述符

2.2 2D特征

基于CNN，FPN[37]的改进编码器作为CNN主干，并投影到和3D特征同纬度的空间

2.3 潜在融合注意力模块

为了保持我们网络的可推广性并避免对特定对象特征的过度拟合，我们建议在粗略水平的潜在空间中融合3D和2D特征，并利用3D到2D融合块以及2D到3D融合块来融合两个角度的信息。
如图所示，特征先经过位置编码后输入到模块中，模块中涉及两种子模块

• Global Transformer：蓝色，融合3D和3D特征、
• Latent Fusion Transformer：绿色，融合2D和3D

3. 描述子学习

以RGB特征作为桥梁，两个loss

3.1 Bridged Coarse-level Matching Loss（BCM）

为了保证基于RGB的2D信息在潜在空间中的有效性，关键是通过建立2D和3D特征之间的跨模态匹配来提供来自2D和3D模态的监督信号。、

3.2 Fine-level Matching Loss

且在这一步将超级点decode到原始点云P、Q

4. Matching Descriptors and Estimating 6D Poses

• 我们使用协方差分析来测量归一化特征的相似性。我们将前k个最相关的点对确定为点集C的3D-3D匹配，从中我们创建η姿态假设。

• 对于1≤v≤η的每个假设T，我们首先从C中随机选择s≪κ对应关系，然后使用RANSAC[14]优化求解6D对象姿态的方程
  

• 所有的假设做分数排序