推荐开源项目：MANO——基于PyTorch的手部模型实现

最新推荐文章于 2024-10-20 22:57:24 发布

霍曙柏

最新推荐文章于 2024-10-20 22:57:24 发布

阅读量760

点赞数 4

本文链接：https://blog.csdn.net/gitblog_00972/article/details/142807005

版权

推荐开源项目：MANO——基于PyTorch的手部模型实现

MANO A PyTorch Implementation of MANO hand model. 项目地址: https://gitcode.com/gh_mirrors/ma/MANO

项目介绍

MANO是一个基于PyTorch实现的手部模型加载器，它源自于MANO手部模型。该项目的代码基于Vassilis Choutas开发的smplx包。MANO是一个可微分的 hand model，能够将手部姿态参数（关节角度和根位置）和形状参数映射到一个3D手部网格。该模型非常逼真，维度低，适用于任何人类手部。

此项目最初是为了在GrabNet模型中使用，以生成未见过的3D物体的逼真手部抓取。

teaser

项目技术分析

技术栈

PyTorch: 项目基于PyTorch框架，利用其强大的自动微分功能和灵活的神经网络构建能力。
smplx: 项目代码依赖于smplx包，该包提供了人体模型的加载和处理功能。

核心功能

手部姿态映射: 通过输入手部姿态参数和形状参数，生成逼真的3D手部网格。
低维度模型: 模型维度低，计算效率高，适合实时应用。
通用性: 适用于各种人类手部，具有广泛的适用性。

项目及技术应用场景

虚拟现实与增强现实: 用于生成逼真的虚拟手部，提升用户体验。
人机交互: 在智能设备和机器人中，实现更自然的手部交互。
动画制作: 为动画角色生成逼真的手部动作。
医学研究: 用于手部运动分析和康复训练。
3D物体抓取: 在机器人抓取和物体操作任务中，生成逼真的手部抓取姿态。

项目特点

高逼真度: 生成的手部网格非常逼真，适用于高质量视觉效果需求的应用。
易用性: 项目提供了详细的安装和使用指南，用户可以快速上手。
开源免费: 项目开源且免费，适用于非商业科学研究用途。
灵活扩展: 基于PyTorch框架，用户可以方便地进行定制和扩展。

安装与使用

安装依赖

确保已安装PyTorch（版本>=1.1.0），可以使用以下命令安装：

pip install torch==1.5.1+cpu torchvision==0.6.1+cpu -f https://download.pytorch.org/whl/torch_stable.html

或者安装适合的GPU版本。

安装MANO

pip install git+'https://github.com/otaheri/MANO'

下载模型

在MANO网站注册并下载模型。
将模型放置在以下结构的文件夹中：

models
|
└── mano
    ├── MANO_RIGHT.pkl
    └── MANO_LEFT.pkl

示例代码

import torch
import mano
from mano.utils import Mesh

model_path = 'PATH_TO_MANO_MODELS'
n_comps = 45
batch_size = 10

rh_model = mano.load(model_path=model_path,
                     is_rhand= True,
                     num_pca_comps=n_comps,
                     batch_size=batch_size,
                     flat_hand_mean=False)

betas = torch.rand(batch_size, 10)*.1
pose = torch.rand(batch_size, n_comps)*.1
global_orient = torch.rand(batch_size, 3)
transl        = torch.rand(batch_size, 3)

output = rh_model(betas=betas,
                  global_orient=global_orient,
                  hand_pose=pose,
                  transl=transl,
                  return_verts=True,
                  return_tips = True)

h_meshes = rh_model.hand_meshes(output)
j_meshes = rh_model.joint_meshes(output)

#可视化手部网格
h_meshes[0].show()

#可视化关节网格
j_meshes[0].show()

#可视化手部和关节网格
hj_meshes = Mesh.concatenate_meshes([h_meshes[0], j_meshes[0]])
hj_meshes.show()

引用

如果您在研究中使用此模型，请考虑引用以下文献：

@article{MANO:SIGGRAPHASIA:2017,
  title = {Embodied Hands: Modeling and Capturing Hands and Bodies Together},
  author = {Romero, Javier and Tzionas, Dimitrios and Black, Michael J.},
  journal = {ACM Transactions on Graphics, (Proc. SIGGRAPH Asia)},
  publisher = {ACM},
  month = nov,
  year = {2017},
  url = {http://doi.acm.org/10.1145/3130800.3130883},
  month_numeric = {11}
}

和

@inproceedings{GRAB:2020,
  title = {{GRAB}: A Dataset of Whole-Body Human Grasping of Objects},
  author = {Taheri, Omid and Ghorbani, Nima and Black, Michael J. and Tzionas, Dimitrios},
  booktitle = {European Conference on Computer Vision (ECCV)},
  year = {2020},
  url = {https://grab.is.tue.mpg.de}
}