单目RGB相机重建穿衣服的人

 

引自视频号【三维匠心】

论文：《Learning to Reconstruct People in Clothing from a Single RGB Camera》

该工作是德国布伦瑞克工业大学和马普所联合发表的。该工作提出Octopus模型，利用只包含少数帧（例如1-8帧人物移动场景）的单目视频重建个性化的3D人体模型。该工作提出的Octopus模型用时10秒甚至更少，利用SMPL模型加上衣服和头发的参数对3D形状进行重建。具体的整个推理过程主要包含两个关键点：1、通过在一个典型的T-pose空间预测三维形状，神经网络将输入的人物图像编码成与姿态（pose）无关的潜码；2、利用自顶向下和自底向上的方法让神经网络中的信息双向流通，使得重建的模型可以和输入图像较好的对齐。最后模型重建精度为4-5mm,但在速度上比之前的方法快好几个数量级。