【计算机图形学】GAMMA: Generalizable Articulation Modeling and Manipulation for Articulated Objects

对GAMMA: Generalizable Articulation Modeling and Manipulation for Articulated Objects的简单理解

1. 之前工作的缺陷，本篇工作做的事

由于3D铰接物体有多样化的shape，语义类别以及运动结构，之前的工作主要注重与识别和操纵特定关节类型下的铰接物体。它们能够识别物体的关节参数，分辨合适的抓取姿态来促进运动轨迹规划，尽管这些方法在特定的铰接物体类型下取得了成功，但无法泛化到未见过的物体，严重影响了在广泛场景下的应用。

在该工作中，提出了新的泛化铰接建模和铰接物体操纵的方法。同时从不同的类别的多样化铰接物体中，学习了铰接物体建模和抓取姿态Affordance。另外，GAMMA（本篇论文工作简写）还采用适应性操纵来迭代减少建模误差，以提升操纵表现。

2. 问题定义

机器操纵任务$T$被如下定义：

由$K$个可移动部件组成的未知铰接物体 M = { m i } i = 1 k M=\{m_i\}^k_{i=1} M={mi​}i=1k​，这样的物体$M$通过具有$N$个点的点云$P$表示： P = { p i ∈ R 3 } i = 1 N P=\{p_i∈\R^3\}^N_{i=1} P={pi​∈R3}i=1N​。

另外，从点云中建模物体结构$J$，估计每个部件的铰接参数 J = { ψ i } i = 1 K J=\{ψ_i\}^K_{i=1} J={ψi​}i=1K​。大部分物体仅由一个维度的平移或转动关节组成，可以简化关节参数为 ψ i = { u i , q i , c i } ψ_i=\{u_i,q_i,c_i\} ψi​={ui​,qi​,ci​}，其中$u_i\in {\mathbb{R}}^3$是joint axis的单位向量，$q_i\in {\mathbb{R}}^3$是位置，$c_i$是关节类型。另外还用两个变量$o_i\in {\mathbb{R}}^3$和$v_i\in {\mathbb{R}}^3$表示从$p_i$到质心的向量和到joint axis $d_i$的向量。

3. 方法

GAMMA由3个模块组成：articulation modeling, part-aware grasp pose affordance和physics-guided adaptive manipulation。

3.1 铰接建模

操纵任务中，对铰接物体结构的理解帮助可移动部件的运动学限制推理。因此，将整个物体分割成了多个独立的刚性部件，并估计每个刚性部件的铰接参数。首先使用PN++来分割点云，使用分割头、offset头、关节参数头来分别解码对应信息。对这些解码出来的信息进行监督学习。

这里感觉损失函数什么的和Command-Driven几乎一模一样。

3.2 部件感知的抓取姿态Affordance

将高维的视觉信息处理成可交互的位置。首先对每个铰接部件做如下步骤操作：

1. 通过Grasp-Net生成一系列抓取姿态

2. 连接PN++的全局特征$f_{gg}$，铰接参数$f_{ap}$，接触pose特征$f_{gp}$。利用连接特征来预测可操纵性分数，评估每个抓取姿态的可行性。

3.3 物理引导的适应性操纵

在之前章节中从点云建立了铰接模型并生成抓取姿态Affordance，并提供了运动限制。但在操纵过程中，观察仍存在不确定性和错误，使得模型预测结果不精确。为解决此问题，应用物理引导的适应性操纵，通过最小化plan和实际轨迹的误差，迭代更新铰接模型。这个过程可以帮助在未见过铰接物体的情况下，帮助改进模型的准确性。

规划抓取点在$L$步内完成操纵任务$T$的轨迹，在时间步$t$中， τ t p l a n = { P i p l a n } i = 1 L \tau^{plan}_t=\{P^{plan}_i\}^L_{i=1} τtplan​={Piplan​}i=1L​。实际操纵中，采用滚动视界控制，只执行$H(H<L)$步规划${\tau }_t^{plan}$。来自真实机器人操纵的结果 τ t a c t u a l = { P i p l a n } i = 1 H \tau^{actual}_t=\{P^{plan}_i\}^H_{i=1} τtactual​={Piplan​}i=1H​。通过Hungarian算法最小化匹配矩阵$C_t\in {\mathbb{R}}^{H\times L}$优化关节参数$\psi$，也就是规划路径和真实路径的差异：

进而改进铰接物体的建模精确度