【文献阅读】手物位姿估计|Physical Interaction Reconstructing Hand-object Interactions with Physics

Physical Interaction: Reconstructing Hand-object Interactions with Physics

摘要

由于遮挡导致严重的观测值缺失，基于单视图的手-物体交互重建具有挑战性。

本文提出一种基于物理的方法来更好地解决重建中的歧义。首先，提出了一种基于力的手握物体动力学模型，该模型不仅恢复了未观察到的接触，而且还解决了合理的接触力。其次，提出了一种基于置信度的滑动预防方案，该方案结合了运动学置信度和接触力，共同模拟了静态和滑动接触运动。

贡献：

• 第一种用物理合理的接触运动和力实时重建相互作用的手和物体的方法。
• 一种基于物理的接触状态优化算法，利用物体动力学迭代地改进手-对象接触。
• 一种基于置信度的滑动预防算法，它通过结合运动学置信度和物理力估计来消除非物理滑动。

2 相关工作

2.1 手物交互重建

在交互过程中，人们会共同跟踪手的姿态和物体的运动。它们中的许多利用基于优化的方法来找到最适合从不同输入获得的观察结果的解决方案。

近年来，深度摄像机因其可以直接提供三维信息而得到了广泛的应用。

所有这些工作都需要运动估计中物体的模板，这极大地限制了它们的使用。

尽管它们涉及到数据驱动的先验来解决重建过程中严重的歧义，但它们仍然存在一些具有挑战性的严重遮挡姿态。本文着重于进一步提供物理驱动的先验，以更好地解决模糊性。

除了基于优化的方法外，最近的工作还利用神经网络直接从单一彩色图像中提取交互信息。

然而，对于这类技术，新对象几何的泛化能力是有限的，因为与现实世界中巨大的几何变化相比，很难使训练数据集的覆盖足够充分

2.2 基于物理学的动力学重建

最近的工作产生基于物理的手控制策略，从深度强化学习，以达到特定的抓取或移动目标。然而，这些工作假设了一个已知的虚拟物体的形状，目的是合成手的运动来操纵物体，而不是手-物体的重建。

也有一些工作集中于从视觉输入中估计手-物体的接触力。他们需要一个好的手-物体运动估计，目的是估计相互作用过程中的真实力，而我们则专注于利用物理学提高跟踪精度。

然而，这些物理模型要么具有很强的假设，如已知的物体形状或运动，要么不适用于实时重建任务。对于现有的手-对象交互的物理模型，解决重构任务中的模糊性的有效性和实现实时性能的效率之间存在差距。

3 预备知识

采用sphere-mesh建模手，同时使用截断符号距离函数（Truncated Signed Distance Function）建模物体。

球网模型认为人的手是由末端球和球之间的连接组成的骨架。我们用一个向量来描述手的姿势：包含6- DOF的手腕姿势和22-DOF的手指关节旋转。

物体由一个标准空间中的零姿态静态模型和一个由物体的刚性变换和非刚性变形组成的运动场来表示。

物体静态模型表示为S={d(x),w(x)}S=\{d(x),w(x)\}S={d(x),w(x)} ,$x$是规范空间中的一个点，$d(x)$是从$x$到对象表面上最近的点的符号距离，$w(x)$为$d(x)$的置信度。静态模型的表面$M$表示为

$v$是顶点，$n$是对应的法线向量。

运动场$\mathcal{W}$由物体的刚性变换和非刚性变形组成，在静态对象上应用运动后，我们定义了实时模型${\mathcal{M}}_l$

4 方法

5 实验

5.3 评估

如表1和图6所示，我们首先定量评估了物理细化中关键组件的有效性。

bl : pure kinematic reustls

cso: contact status optimization only

cso + fri: contact status optimization + pure friction-based slide prevention

cso + fri + conf: contact status optimization + confidence-based slide prevention

5.4 局限性

为了保证实时性能，我们的物理模型在很大程度上是简化的，因此仍然远离真实的物理。

首先，我们假设这些接触只发生在指尖上。对于打破这一假设的情况，我们的系统可以回到一个运动学跟踪系统。

其次，我们用对物体质量的假设来求解接触力。这可能会导致不准确的接触力的大小，但仍然成功地为重建系统带来了物理上的合理性。

况，我们的系统可以回到一个运动学跟踪系统。

其次，我们用对物体质量的假设来求解接触力。这可能会导致不准确的接触力的大小，但仍然成功地为重建系统带来了物理上的合理性。

第三，在跟踪非刚性物体时，我们固定惯性信息，而不是用物体的变形来更新它。在大多数情况下，这只会影响力解的准确性。然而，对于强变形，由于物理性质的大误差，这种简化可能会导致错误的接触位置。