3制造数据集_基于多视角的三维人体蒙皮数据集的制造方法

Abstract. 目前用于姿态识别的关键点数据集比较全面也比较多，有单视角有多视角，有单人有多人，有针对身体姿态的也有针对手势以及表情的（注：CMU、Human3.6H、COCO、MPII等）。但是目前三维人体蒙皮的数据集却不是那么全面，并且现有的三维人体蒙皮数据集大多是单视角（注：3DPW）。一般来说三维人体蒙皮数据的信息会有两种形式来表示：（1）三维人体模型的参数，例如SMPL模型的pose、shape、trans参数；（2）三维人体蒙皮的蒙皮顶点三维坐标，例如SMPL模型的蒙皮顶点尺寸就是6890*3，6890个点，3个维度。（注：其实有（1）参数是可以直接通过输入到SMPL模型从而得到（2）中的蒙皮顶点坐标的，但是在这里我还是将其分为了两类，原因就是：目前比较主流的预测三维人体蒙皮的方法有两类，第一类是参数法，对应（1），通过预测SMPL模型的pose、shape、trans参数，从而得到三维人体蒙皮；第二类是直接预测三维人体蒙皮顶点坐标，对应（2））除了现有的三维人体蒙皮数据集以外，我们通常使用SMPLify-x去获取新数据集的三维人体蒙皮信息。但是该方法有一个弊端就是，由于提供的图像是单张图，所以最终只能保证生成的三维模型在该视角下的投影与该图是比较吻合的，但是整体模型姿态是否正确是不一定的。为了克服这个弊端，得到更加准确的三维人体模型，本文提出基于多视角生成三维人体蒙皮数据集的方法。构建基于多视角的三维人体蒙皮数据集不仅精度更高，并且有利于去探究多视角信息预测三维人体蒙皮。本文通过多视角预测三维关键点，并对SMPLify-x进行改进，在CMU Panoptic Dataset数据集上进行尝试，目前已生成171204_pose1的三维人体蒙皮数据，效果可观。（注：目前CMU Panoptic Dataset还未提供三维人体蒙皮数据集，但是后续Dataset 2.0可能会发布三维人体蒙皮数据，时间暂时不确定）

CMU Panoptic Dataset 官网地址：

http://domedb.perception.cs.cmu.edu/​domedb.perception.cs.cmu.edu

CMU 数据集配套的下载解析工具：

https://github.com/CMU-Perceptual-Computing-Lab/panoptic-toolbox

0.效果展示

一图胜千言，一频胜万语，先上效果展示，如感兴趣，可以继续阅读～

数据集为CMU Panoptic Dataset。CMU数据集HD镜头有31个，图像部分选取了其中的5个镜头来验证效果。镜头id为：11、12、16、18、21，