Summary——Indirect deep structured learning for 3D human body shape and pose prediction

最新推荐文章于 2023-04-08 23:52:47 发布

光头吴克

最新推荐文章于 2023-04-08 23:52:47 发布

阅读量666

点赞数

分类专栏：文献阅读文章标签：数字人体体态估计

本文链接：https://blog.csdn.net/pan2635376816/article/details/82733699

版权

7 篇文章 0 订阅

订阅专栏

Research Problem：探究预测人体三维体型和体态的新方法。

Contributions：

Empirics：

人工数据（artificial data）：通过SMPL模型得到的数据，该数据用于编码器和解码器的训练。制作过程为从SMPL模型的82个参数中选择3个主要方向的旋转，10个体型，20个姿势的参数集合。对于每一个数据点（数据点=某个旋转方向+某个体型+某个姿势），制作相应的RGB图片+剪影图片。其中RGB仅用于整个网络的训练，而剪影图片用于解码器训练和整个网络的训练（注意：这里应该参照该结构的训练过程，区分二者的区别）。而RGB图片又分为两种，一种噪声比较小，一种噪声大。
现实数据（real image）：取自Unite the People（UP）数据集，8515张含有3D体型体态标签真值的图片子集。又过滤掉对应于不能和人工数据对应的图片（比如说旋转角度大于72度啦等等，其实人工数据选取的时候也是参照了UP数据集的），过滤之后，只剩下1307训练样本和139个测试样本。

Methods：

本文设计的结构，由一个编码器和一个解码器组成。

解码器结构与作用：编码器中输入的是82（3个旋转+10个体型+69个姿势=82）个SMPL模型的参数，输出SMPL人体模型的剪影图片（该图片为两类标签图片）。即，输入3D模型，输出模型剪影。

该解码器分为三个单元：

编码器结构与作用：输入一张RGB图片，输出82个SMPL参数。即，输入人体图片，输出3D人体模型。

该编码器分为三个单元：

综上所述，整体编码器—解码器的结构如下：

最终目的，是给一张RGB图片，得到它的3D模型，一般来说，需要不少对应的3D模型真值作为训练集进行训练。但这样的真值比较稀缺，本文设计该结构的最终目的，就是为了降低对于立体真值的依赖。

在训练时，先训练解码器，给出剪影真值和一些选定好的SMPL参数，训练出固定SMPL参数得到的剪影，其目的不是得到剪影图片，而是在知道剪影真值时，希望能得到对应的立体模型。

这时要怎么在立体模型和RGB图片间建立对应呢？

解码器训练完以后，就将它固定（权重和偏差固定下来），整体地训练编码器，显然，这里通过解码器来训练编码器。前述剪影真值就是编码器输入图片的真值剪影，即在输入RGB图片后，训练编码器，得到对应3D模型。

Results and finds：

实验一，针对编码器和解码器分别设计了六种结构，并做了效果对比（其实个人感觉这个实验很多余，原因在下面的Constructive critiques会提到）。

实验二，对比直接学习（在训练时提供3D体型，体态参数）和间接学习。二者采用的结构是一样的，唯一不同的是，在直接训练时，预测体型体态的层额外有一个欧式损失（Euclidean loss）。因为直接学习试用了UP数据集和人造数据的3d参数真值，所以在编码器的训练中可以加入真值和预测之间的欧氏距离。

间接学习在分割（预测剪影）时表现更好，直接学习在3D模型的预测上表现更好。

实验三，分别在人工图片，现实图片，以及混合图片数据集上训练，对比效果。

Constructive critiques：

本文采用的现实数据集中的图片只含有10%的背景，也就是说，背景杂斑很少，这是不是会给文章带来更有利的结果，本文所呈现出的结果是否就是该结构的upper bound？？？
本文采用的是UP数据集，根据之前所读的文章所讲述的UP数据集的种种不是，本文是否用COCO能够得到更好的效果呢？？？

不能呀，coco不是只是图片数据集吗，没有3D真值，你怎么问这种傻问题呀。

压缩和扩展的意义到底在哪里？？？压缩难道不会失去很多细节的信息吗？？扩展之后又进行了少量压缩，既然如此为什么还要扩展那么多，少扩展一点不就完事了吗？？？
其中有个实验室为编码器和解码器分别设计六种结构，然后选了一个效果差不多的结构使用了，这个实验是不是有点多余？？？因为本文自己也说了，其实对于这结构精心设计总是会有更好的效果，不过这不是本文的工作。那既然这么说，原本结构也都是你自己挨个调整设计的，你个只需要告诉大家你这个正确率是多少就足够了，读者从你的实验中得不到什么有用的信息，是不是没有必要做这个对比实验。