Neurlps2024论文解析|Hamba Single-view 3D Hand Reconstruction with Graph-guided Bi-Scanning Mamba

论文标题

Hamba: Single-view 3D Hand Reconstruction with Graph-guided Bi-Scanning Mamba
Hamba: 基于图引导双扫描的单视图3D手部重建

论文链接

Hamba: Single-view 3D Hand Reconstruction with Graph-guided Bi-Scanning Mamba论文下载

论文作者

Haoye Dong, Aviral Chharia, Wenbo Gou, Francisco Vicente Carrasco, Fernando De la Torre

内容简介

本文提出了一种新颖的图引导Mamba框架Hamba，旨在从单张RGB图像中重建3D手部模型。现有的最先进方法主要依赖于基于注意力的Transformer来学习3D手部姿态和形状，但在处理关节之间的空间关系时效率较低，导致重建性能不够鲁棒。Hamba通过引入图引导双向扫描（GBS）和图引导状态空间（GSS）模块，显著提高了关节间的空间关系建模能力。实验结果表明，Hamba在多个基准测试和真实场景中表现优异，尤其在FreiHAND数据集上取得了5.3mm的PA-MPVPE和0.992的F@15mm，成为3D手部重建领域的领先方法。

分点关键点

1. Hamba框架

   • Hamba结合了图学习和状态空间建模，提出了图引导双向扫描（GBS）来有效捕捉手部关节之间的空间关系。