TexturePose: Supervising Human Mesh Estimation With Texture Consistency

Abstract

这个工作针对的是model-based human pose estimation. Pose estimation具体是指什么？ 是字面上的意思么？ pose是指姿势么？ 还是关键点？ 最近取得了较大进展的方法是从图像中直接回归parametric human body model的parameters的方法。 因为图像中没有3D shape ground truth, 相关的方法依赖2D annotations 或者sophisticated architecture designs. 然后，他们就说其实natural image中有更多线索可以利用，而不需要getting more annotations or modifying the network architecture. 作者提出了一种更自然的监督形式，that利用 on the appearance constancy (一个人在不同帧/不同视角下外观的一致性) of a person among different frames(or viewpoints). 这种看似微不足道且经常被忽视的线索，实际上，对于model-based pose estimation实际上大有帮助。作者利用的parametric model允许我们计算a texture map for each frame. 假设the texture of the person does not change dramatically between frames(其实对不同viewpoints应该也变化不大吧？) 他们用了一个新的texture consistency loss, which enfores that each point in the texture map has has the same texture value (纹理值是个什么值？) across all frames. 因为，the texture is transferred in this common texture map space, 因为都在common texture map空间讨论了，所以，no camera motion computation is necessary (无需相机运动的计算是什么意思？ 意思是，把viewpoint因素摘除去了？). 他们的方法可以解决multi-view image的问题。他们的方法不需要那么多annotation, 同时，在model-based pose estimation方法中在多个数据集上取得了SOTA的效果。

就是用带参数的human body model，然后回归它的参数来做

如何获得的texture map

这块这个CNN是用来estimate the shape of the person(咋不写pose了？)

1. 用CNN去estimate the shape of the person.
2. Projecting shape on the image
3. 在on the surface(3D mesh surface)上推断每个点的visibility, 我们来构建texture map.
4. 要基于重要的观测，the appearance of the person remains constant, 把这个大前提作为translates to a texture consistency loss, 强制两个texture maps to be equal for all surface points $V_{ij}$ that are visible in both image. 强制什么相等，强制texture map中不是黑色的地方, 也就是在texture map里的外观相等，这是借助texture map把appearance constancy用上了。