Tex2Shape:Detailed Full Human Body Geometry From a Single Image

Abstract

程序pipeline梳理

An input image is transformed into an incomplete texture, 看看程序到底tex还是iuv_img是这个incomplete texture, then our Tex2shape network translates the texture into normal and displacement maps(这是下图中的第三个部分，并不是我想要的。)

所以，Tex2shape的输入是我想要的tex, Tex2shape的输出是我不想要的normal and displacement maps. 而iuv_img就是cv2.imread(iuv_file), 本质是DensePose的IUV map.

程序的输入

• rp_lee_posed_004_30k.jpg 感觉这是合成的图像啊？尺寸1024*1024
• rp_lee_posed_004_30k_IUV.png 通过densepose得到的IUV 尺寸1024*1024
• weights_tex2shape
• weights_betas 这是个什么？
  

输入的原图

DensePose的IUV map

程序的输出

1. out 作为保存最终输出结果的路径

   1. 输出1：rp_lee_posed_004_30k.obj
   2. 输出2：rp_lee_posed_004_30k.pkl
   

每个里面具体都是什么啊？

程序用到的网络

一共涉及2个网络：

• 一个是：one for normal and displacement maps
• 另一个是：for SMPL shape parameters

最主要的是：Tex2Shape网络, the network is a conditional Generative Adversarial Network (Pix2Pix)

这个是他们方法的key component, 这里面涉及Pix2Pix文章用到的Conditional Generative Adversarial Network consisting of a U-Net generator and a PatchGAN discriminator. 这个GAN里含着U-Net和另外一个PatchGAN.

这里U-Net的特点： The U-Net features each seven convolution-ReLU-batchnorm down- and up-sampling layers with skip connections.