写在前面:
01,纯粹个人学习之用,不做任何商用。如有侵权,联系我删除。
02,个人能力有限,仅供参考,欢迎讨论,共同成长。
一. 论文信息
《Expressive Body Capture: 3D Hands, Face, and Body from a Single Image》
论文地址:https://arxiv.org/pdf/2104.03176.pdf
代码地址:https://github.com/vchoutas/smplify-x
二. 内容简介
这个是效果图,
说实话我体感这个论文碉堡了,我也想实现下自己的数据。后来发现了一个问题:
数据集是EHF(Expressive Hands and Face)
EHF(Expressive Hands and Face)
EHF是用于评估3D人体重建方法的数据集(共601个文件)。
EHF数据集包含100帧,由专业的标注员手工精心标注,以确保3D伪真值(pseudo ground truth
)的真实性。
1. 每帧包含:
1) -文件名:“*_img.jpg” - jpg格式的RGB全身图像。
2) -文件名:“*_img.png” - png格式的RGB全身图像。
3) -文件名:“*_scan.obj” - 此帧的3D扫描(多视图立体重建)。
4) -文件名:“*_align.ply” - 以3D mesh形式将SMPL-X与3D扫描对齐(作为伪真值)。
5) -文件名:“*_2Djnt.json” - 使用OpenPose估计的2D关节(来自单目RGB)。
6) -文件名:“*_2Djnt.png”-OpenPose 2D关节的可视化。
扫描(.obj)和对齐(.ply)均以米为单位。
简单来说:一张图片,需要配套6个文件。
三. 代码实现
文章复现不做小白科普,需要基础的算法知识。
git clone git@github.com:muelea/smplify-xmc.git
cd smplify-xmc
下载训练好的模型和测试数据。
叫我雷锋,网盘链接如下:
链接:https://pan.baidu.com/s/1_5fgni7u7NylZKrLYWOwPA
提取码:yq3w
代码结构图如下:
包和依赖没问题的话,运行demo推理文件
这里需要注意的是,路径和自己代码中路径的一致性。(出问题了按照报错对照一下。)
cd /smplify-xmc
python main_singleview.py --config configs/fit_smplx_singleview.yaml \
--dataset mtp_demo \
--input_base_dir data/example_input/singleview/subject1 \
--input_dir_poses data/example_input/presented_poses \
--output_dir data/example_output/singleview/subject1 \
--model_folder /smplify-xmc/modelfolder/models/
效果图对比
END
声明:本文章仅供个人学习之用,由于作者能力有限,相关观点和信息仅供参考。
如有侵权请联系。
欢迎各位读者老爷提问和交流。
我们的目标是星辰大海!
(没及时回复加我微信)