![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hand Reconstruction
文章平均质量分 88
向向2024
计算机视觉、多模态学习、大语言模型、医学图像分析、Diffusion 模型等,带你天天读论文
展开
-
【CVPR2023】Re:InterHand:一个用于3D交互手部姿态估计的重光照数据集
双手交互是分析中最具挑战性的信号之一,因为手的自相似性、复杂的关节和遮挡。尽管已经提出了几个双手交互分析的数据集,但它们都没有同时实现1) 多样化和逼真的图像外观,以及2) 多样化和大规模的地面真实(GT) 3D姿态。在这项工作中,我们提出了Re:InterHand,一个重光照的3D交互手数据集,实现了这两个目标。为此,我们使用了最先进的手部重光照网络和我们准确追踪的双手3D姿态。我们比较了我们的Re:InterHand与现有的3D交互手数据集,并展示了它的好处。原创 2024-04-20 12:42:56 · 1167 阅读 · 0 评论 -
[ICCV2023]RenderIH:用于3D交互手部姿态估计的大规模合成数据集
现有的交互手(IH)数据集在背景和纹理方面相对简单,手部关节由机器注释器标注,可能导致不准确,且姿态分布的多样性有限。然而,背景、姿态分布和纹理的可变性可以极大地影响泛化能力。因此,我们提出了一个大规模的合成数据集——RenderIH——用于具有准确和多样化姿态注释的交互手。数据集包含1M张具有不同背景、视角和手部纹理的照片真实感图像。为了生成自然和多样化的交互姿态,我们提出了一种新的姿态优化算法。原创 2024-04-20 12:35:59 · 718 阅读 · 0 评论 -
[ICCV2023]DIR-用于从单个RGB图像重建交互手部的解耦迭代细化框架
从单个RGB图像中重建交互的双手是一个非常具有挑战性的任务。一方面,双手之间的严重遮挡和相似的局部外观会混淆视觉特征的提取,导致估计的手部网格与图像错位。另一方面,交互的双手之间存在复杂的空间关系,这显著增加了手部姿态的解空间,增加了网络学习的难度。在本文中,我们提出了一个解耦的迭代细化框架,以实现像素级对齐的手部重建,同时有效建模双手之间的空间关系。具体来说,我们定义了两个具有不同特征的特征空间,即2D视觉特征空间和3D关节特征空间。原创 2024-04-20 12:28:43 · 821 阅读 · 0 评论 -
[ICCVW2023]EANet-提取与适应网络:用于3D交互手部网格恢复的网络
理解双手如何相互作用是准确恢复3D交互手部网格的关键组成部分。然而,最近的基于Transformer的方法在学习双手之间的交互时存在困难,因为它们直接使用双手特征作为输入令牌,这导致了远距离令牌问题。远距离令牌问题表示输入令牌处于异构空间,导致Transformer无法捕获输入令牌之间的相关性。本文提出了EABlock(提取和适应块),这是我们网络的主要组件,它使用两种新型令牌,SimToken和JoinToken,而不是直接使用双手特征作为输入令牌。原创 2024-04-20 12:18:10 · 883 阅读 · 0 评论 -
【CVPR2023】《A2J-Transformer:用于从单个RGB图像估计3D交互手部姿态的锚点到关节变换网络
3D交互手部姿态估计(IHPE)是一个挑战性的任务,因为手部存在严重的自遮挡和相互遮挡,两只手的外观模式相似,以及从2D到3D的病态关节位置映射等问题。为了解决这些问题,作者提出了A2J-Transformer,这是一种基于Transformer的非局部编码-解码框架,用于改进A2J(一种最先进的基于深度的单手3D姿态估计方法),以适应交互手部情况的RGB域。A2J-Transformer的主要优势包括:局部锚点通过自注意力机制建立全局空间上下文感知,以更好地捕获关节的全局线索;原创 2024-04-20 11:10:24 · 742 阅读 · 0 评论 -
【CVPR2023】ACR: Attention Collaboration-based Regressor for Arbitrary Two-Hand Reconstruction
论文提出了一种名为ACR(Attention Collaboration-based Regressor)的新方法,用于从单目RGB图像中重建任意场景下的双手。ACR在CVPR 2023上的表现显著优于最佳的交互手方法,这表明其在处理单图像双手法重建方面具有显著的优势。原创 2024-04-16 17:59:12 · 934 阅读 · 0 评论