引自视频号【三维匠心】
论文:《Learning to Reconstruct People in Clothing from a Single RGB Camera》
该工作是德国布伦瑞克工业大学和马普所联合发表的。该工作提出Octopus模型,利用只包含少数帧(例如1-8帧人物移动场景)的单目视频重建个性化的3D人体模型。该工作提出的Octopus模型用时10秒甚至更少,利用SMPL模型加上衣服和头发的参数对3D形状进行重建。具体的整个推理过程主要包含两个关键点:1、通过在一个典型的T-pose空间预测三维形状,神经网络将输入的人物图像编码成与姿态(pose)无关的潜码;2、利用自顶向下和自底向上的方法让神经网络中的信息双向流通,使得重建的模型可以和输入图像较好的对齐。最后模型重建精度为4-5mm,但在速度上比之前的方法快好几个数量级。