3D Human Body Reshaping with Anthropometric Modeling 阅读翻译

最近着手做3D人体编辑相关内容，先从文章开始学习
一下文章github地址：https://github.com/1900zyh/3D-Human-Body-Shape
本人只是翻译学习

3D Human Body Reshaping with Anthropometric Modeling

Abstract:从人体测量参数（例如，身高，胸部尺寸等）重塑精确逼真的3D人体对于人物识别，在线购物和虚拟现实提出了一个基本的挑战。用于创建这种3D形状的现有方法通常来自范围相机或高端扫描仪的复杂测量，这涉及昂贵的费用或导致低质量。然而，这些高质量的设备限制了实际应用中的现有方法，因为普通用户不容易访问设备。在本文中，我们通过提出一种基于特征选择的局部映射技术设计了一个三维人体整形系统，该技术可以对每个人体面进行自动人体测量参数建模。所提出的方法可以作为输入有限的人体测量参数（即，3-5次测量），这是值得的，这避免了复杂的测量，因此在真实场景中可以实现更好的用户友好体验。具体而言，所提出的重塑模型包括三个步骤。首先，我们通过插补技术从有限的用户输入计算全身人体测量参数，因此可以获得3D身体重塑的基本人体测量参数。其次，我们通过采用相关掩模为每个方面选择最相关的人体测量参数，相关掩模通过所提出的局部映射技术离线学习。第三，我们通过映射矩阵生成3D体网格，矩阵通过线性回归从所选参数到基于网格的体表示来学习。我们通过拟人评估和来自68名志愿者的用户研究进行实验。实验表明，所提出的系统在针对最先进方法的平均重建误差方面具有优异的结果。

1.Introduction
从人体测量参数中重塑准确逼真的3D人体对于真实用户来说起着关键作用，并且可以使人们识别，健康监测，在线购物和虚拟现实的广泛应用受益。例如，重塑适当的3D人体可以帮助人们通过将衣服装配到3D模型中来选择合适的衣服，因此可以大大降低在线商店的高退款率和用户浪费时间。然而，构建这样的系统是具有挑战性的，因为每个人的身体形状是独特的，即使对于用户自身也很难用传统的人体测量参数（例如，身高，体重，胸部尺寸等）来表达。

通过引入3D人体重塑数据集（例如，CAESAR数据集 [1]）取得了重大进展，该数据集提供了通过3D模型表示人体的机会，并激发了大量关于学习3D人体统计模型的研究工作。这些工作主要集中在从人体测量参数学习线性回归模型和从3D体形中的顶点信息中获得PCA系数 [2] [3] [4] 。此外，Sumner等人。提出在他们的工作中根据三角形的顶点位置重新形成变形传递问题 [5] 。这种方法首次通过变形传递方法引入了更复杂的三维物体整形模型。后来杨等人。提出了SPRING模型，该模型优于基于变形的全局映射方法，具有显着的余量 [6] 。然而，SPRING模型需要预先将身体形状分割成固定的刚性部分（例如，16个部分）并且手动地将人体测量参数绑定到每个部分以计算映射关系，这带来了若干限制。首先，手动定义这些部件之间的关系和20多个参数通常需要大量的人力。其次，不同人之间的定义可能会有很大差异，这可能会使用相同的算法带来不一致的结果。第三，用手将参数绑定到facet完全丢失了参数之间的统计信息，这可能导致一些容易出错的结果。此外，从测距相机[7] [8] 或高端扫描仪 [9] [10] [11] 创建这样的3D形状通常需要不能广泛使用的复杂测量设备。高精度3D扫描仪通常需要花费数千美元，这限制了真实场景中普通用户的应用。

为了解决上述问题，我们设计了一种3D人体重塑系统，提出了一种基于特征选择的局部映射技术，该技术具有有限的用户输入。首先，我们建议采用多元插补方法（MICE）技术从有限用户的输入中填充缺失参数[^12] ，这样可以提高模型的精度，并在真实场景中提供更好的用户体验。其次，所提出的基于特征选择的局部映射方法利用递归特征消除技术，基于从参数集到每个方面的基于网格的身体表示的线性回归权重递归地去除不相关的人体测量参数[^13]。因此，将自动选择最佳相关特征子集，从而消除了将参数手动绑定到身体部位中的繁重人为因素。第三，我们对68名志愿者进行拟人化评估和用户研究，以获得所提出的系统。通过这些实验，我们发现所提出的系统优于最先进的方法，具有明显的优势。图1显示了我们系统的示例屏幕截图。捐款总结如下：
（a）我们的系统通过使用有限的参数作为输入为用户提供准确的身体形状，从而确保在真实场景中更好的用户体验。
（b）我们提出了一种基于特征选择的人体定位的局部映射方法
度量建模，可以将相关参数联合绑定到每个方面。
（c）我们从客观和主观方面设计了全面的实验
展示我们系统的优越性。

fig1.拟议系统的屏幕截图。 用户可以（1）在右侧面板中输入一些人体测量参数; （2）查看中心窗内生成的体形; （3）通过使用左侧面板上的滑动控件按照预期稍微改善当前的体形。

本文的其余部分安排如下。 第2节介绍了拟议的系统。 第3节描述了评估和分析，最后第4节为总结。

2 System
为了开发一个准确且用户友好的3D人体重塑系统，我们建议利用MICE并提出基于特征选择的局部映射方法，用于我们系统中的人体测量建模。 具体来说，我们的系统由离线阶段和在线阶段的三个模块组成，即Imputer，Selector和Mapper。 我们系统的概述可以在图2中找到。 几个相关数据在图2中标记为（a-g）。

fig2.提出的3D人体整形系统的概述。该系统由三个部分组成，即在线阶段和离线阶段的Imputer，Selector和Mapper。在离线阶段，选择器将3D体网格（a）和相应的人体测量参数（b）的数据集作为输入，以通过所提出的基于特征选择的局部映射技术来学习相关掩模（c）。通过从（c）选择的参数到基于网格的身体表示的线性回归进一步学习映射矩阵（d）。选择器的细节在第2.2节中介绍。在在线阶段，MICE在Imputer中用于从用户输入（e）中插入参数，这是在Sect中引入的。 2.1。 （e）中的’？'表示来自用户输入的缺失参数，但可以通过所提出的方法在（f）中补充。插补后，参数（f）的矢量将传递给Mapper。通过采用（c）和（d），将从Mapper中的（f）生成3D体网格（g），这将在第2.3节中介绍。

Imputer模块负责用户输入的插补(Fig.2(e))，其中可能包含丢失的数据。 插补后，参数（f）的矢量将传递给Mapper模块。 Mapper模块通过对每个面采用相关掩模（c）从（f）中选择最相关的参数，然后通过映射矩阵（d）生成最终的体网格（g）。 （c）和（d）通过选择器模块中提出的基于特征选择的局部映射技术离线学习。 选择器模块将身体网格（a）的数据集和相应的人体测量参数（b）作为输入，以学习（c）和（d）离线。 这些模块的细节将在Sects中介绍。 2.1,2.2和2.3。

2.1 Imputer
由于重塑模型中包含更多人体测量参数，因此在生成3D体网格时将使用更多约束，这导致更近似的体网格。 我们的系统允许用户输入表1中列出的多达19项人体测量参数（例如，身高，体重，胸部等），以便可以获得更近似的身体网格。 如果大多数用户不记得这19个参数的所有值并且输入可能包含缺失数据，则Imputer模块需要预处理参数，以便可以将完整的19维参数向量传递给Mapper模块以进行进一步计算。

表1.我们模型中使用的19个参数。 这些参数涵盖了主要身体测量值，并且每个项目都具有严格的人体测量定义（例如，自然腰部意味着中间躯干的最小周长）。 更多细节可参考测量指南[^14]。

插补是使用数据集的统计分析来预测和插入数据集中缺失项目的任务。最常见的插补技术是均值替换法，相似系数简单平均法，K最近法，MICE等[^15] 。具体而言，MICE被认为是估算缺失数据的最佳方式之一。为了模拟缺失数据的不确定性，Rubin等人。通过生成一系列可能的值而不是每个缺失值[^16]来建立此方法，并且在对生成的数据集进行标准统计分析之后，将预测每个缺失数据的结果。

为了选择Imputer模块的最佳插补技术，我们设计了实验来评估上述四种插补技术。我们的系统中有19个参数，这意味着有2¹⁹个可能的输入情况。尝试所有这些可能的情况是没有意义的。因此，我们设计了五组实验，其中涉及[17]中使用的最常见情况和最重要的参数。在同一时间消耗下，我们发现MICE在我们的实验中表现最佳，因此我们选择MICE作为Imputer的核心技术。在我们的系统中，Imputer将用户输入的参数与我们的数据集一起运行，以运行MICE过程进行插补。

2.2 Selector
Selector模块将3D体网格的数据集和相应的人体测量参数作为输入，以通过基于特征选择的局部映射方法学习每个面的相关掩模和映射矩阵。

3D人体形状的分析可分为基于点和网格的两种范式[18]。 我们的系统采用后者，分析每个三角形面的变形。 基于网格的分析可以在一些复杂模型中分解出其他变化（例如姿势等），并使我们能够在简单的身体重塑模型中使用局部映射方法。 可以使用[5]中的类似方法计算每个三角形面的变形。

在获得数据集中所有实体的变形后，我们将每个主体网格中每个面的变形表示为3×3变换矩阵：

然后，身体网格的变形 i∈1,…,n可以表示为Si = [Qi_,1,Qi_,2,… ,Qi_,m]^T，其中m是体网格中的面数，n是数据集的大小。对于我们的数据集中的每个身体网格，存在人体测量参数值P的19维向量，其通过具有多组控制点的点对点距离从身体网格中提取。

SPRING建议将主体网格划分为16个刚性部分，然后将最相关参数P’的矢量从P绑定到部分。它学习了变形矩阵Q与各个面的相关参数P’之间的线性回归模型，利用人体形状的拓扑信息，优于全局映射方法[6]。这种方法在手动将参数绑定到部件方面具有限制，这导致不同绑定集的结果不一致并且涉及大量的人力。

为了解决上述问题，我们提出了基于特征选择的局部映射方法，该方法可以自动将参数绑定到零件上。我们的方法不需要分割主体网格并为每个方面指定相关参数。我们的方法建议分析参数和变形之间的统计信息，以自动为每个方面选择最相关的参数。详细介绍如下。
只考虑一个方面。这里我们将n个身体网格的人体测量参数矩阵表示为

其中p_i,j表示体i∈1,…,n的第j个（j∈1,…,19）参数。 由于Q是线性变换矩阵，Q,det(Q)的行列式的绝对值可以反映变换扩展了facet的“volume”的程度，因此我们可以将每个变换矩阵的行列式计算为一个特征 每个变形。 n个身体网格的小平面的变换矩阵的决定因素由下式给出：

对于一个facet，我们的方法学习X和Y之间的线性回归，通过递归特征消除算法从19个项目中选择最重要的参数[13]。递归特征消除算法首先学习整个特征集的线性回归。然后，将修剪具有最小绝对权重的特征，然后重新训练新的线性回归模型，直到最终达到所选择的特征数量。我们的方法以这种方式绑定参数的最佳相关子集，同时将生成相应相关掩码的向量。如果为此构面选择了参数，则此构面的矢量中的标签将为true，否则将为false。在选择之后，我们将前k个相关参数重新整形为k维向量P’。然后，可以从P’到变换矩阵Q学习线性回归模型。用于小平面的映射矩阵M是9×k维。通过实验，我们发现，特征选择的结果与人体形状的拓扑知识一致。

2.3 Mapper

Mapper模块为我们系统中的用户合成最终的3D人体网格。它将插补后的人体测量参数的19维向量映射到基于网格的人体表示，该表示由每个方面的变形列表组成。可以使用[5]中的方法从变形计算基于网格的表示的顶点位置。该模块的细节介绍如下。

具体来说，Mapper模块包含两个步骤。首先，Mapper模块通过采用在Selector中学习的相关性掩模，从人体测量参数的19维向量中为每个方面选择一个参数子集（详见第2.2节）。它将所选择的k个参数（k <19）重新整形为k维向量P’。其次，我们通过将P’与每个面的特定映射矩阵M相乘来获得变形。 M在第2.2节中被提及为9×k维矩阵。 facet的映射可表示为：

这里，可以通过将Q’重塑为3×3维矩阵来获得变换矩阵。
最后，可以通过Sumner和Popovi提出的更有效的方法从变形列表中求解顶点位置[5]，该方法根据顶点位置重新构造变形传递优化问题。

3 Evaluation

在这里，我们通过人体评估和用户研究对我们的系统进行广泛的客观和主观评估。 我们还训练了最先进的全局映射方法和SPRING模型进行比较。 全局映射方法学习了人体测量参数和变形矩阵PCA系数的线性回归[2]。 对于SPRING模型，我们对每个刚性部分与人体测量参数之间的关系进行了调查，然后根据调查结果的分析将相关参数绑定到每个部分。

这些模型是在Yang等人发表的与姿势无关的数据集上进行训练的[6]。 该数据集包含1531个女性网格和1517个男性网格。 每个网格的分辨率为12500个顶点和25000个facets。

3.1 Anthropomorphic Evaluation

由于人体测量在诸如布料尺寸等应用中非常重要，并且我们的系统根据人体测量参数生成3D体网，因此需要在此类人体测量参数中进行误差评估。我们通过使用Streuber等人使用的类似方法计算重建人体网格的人体测量值中的平均绝对误差（MAE）来进行拟人误差评估 [19]。
以数据集中物体的原始人体测量参数为输入，我们的实验用全局映射方法，SPRING模型和我们的系统重建物体。为了评估这三种方法的准确性，我们通过计算控制点组的点到点距离，从生成的网格中提取人体测量值。然后，对于每个模型，我们计算生成的网格和来自数据集的网格的测量之间的平均绝对误差。表2显示了使用19个参数和三个模型重建网格的平均绝对误差。评估结果表明，我们提出的模型在平均重建误差方面优于最先进的方法。

3.2 User Study
拟人化评估并不总能反映出塑造模型的表现。 在这里，我们从平均形状调整某个参数的值，以查看网格中的变化是否与我们预期的相似，并且我们还对来自68名志愿者的这三个模型进行了用户研究。 年龄分布，性别分布和体型[20]分布如图3所示。

我们将臀部臀部环境的数量增加了12厘米。 我们分析了图5中不同模型生成的结果，我们发现全局映射方法生成的结果的上半部分变化很大，包括胸部尺寸，肚脐腰围尺寸等。我们的模型产生了类似的结果。 一个由SPRING模型生成的。 具体地，当臀部臀部环境的值增加时，我们的模型可以保持不相关的部分（例如，胸部，大腿部分，肩部等）不变。

当胸部环境的值增加10厘米时，我们从图6中观察到全局映射方法无法按预期重塑3D体网格。 与平均体形相比，全局映射方法生成的结果似乎没有变化。 我们的系统和SPRING模型产生的结果在身体的胸部都发生了显着变化，这显着优于全局映射方法。

我们还对三种模型进行了用户研究。 邀请68名志愿者体验这些模型。 在经历了所有三个模型之后，志愿者被问到哪个模型可以生成最相似的身体网格。 图4所示的结果根据三种体型证明了我们系统的优点。

4 Conclusion

在本文中，我们通过利用MICE技术进行插补并提出基于特征选择的局部映射方法进行形状建模，设计了一个用户友好且精确的三维人体重塑系统，该系统具有有限的人体测量参数。 我们在这里提出的基于特征选择的局部映射方法可以自动为线性回归学习选择每个方面最相关的参数，这消除了人体利用体形拓扑信息的大量工作，因此更近似的身体网格可以 获得。 我们还为我们的系统进行拟人评估和用户研究。 与其他方法比较的结果显示了我们系统的优势。 在未来的工作中，我们计划将本地方法与全局方法相结合，以实现更快，更准确的系统。

References

1. Robinette, K.M., Blackwell, S., Daanen, H., Boehmer, M., Fleming, S.: Civil- ian American and European Surface Anthropometry Resource (CAESAR), Final Report. Technical report, June 2002
2. Allen, B., Curless, B., Popovi ́c, Z.: The space of human body shapes: reconstruc- tion and parameterization from range scans. In: ACM SIGGRAPH 2003 Papers, SIGGRAPH 2003, pp. 587–594. ACM (2003)
3. Seo, H., Magnenat-Thalmann, N.: An automatic modeling of human bodies from sizing parameters. In: Proceedings of the 2003 Symposium on Interactive 3D Graphics, pp. 19–26. ACM (2003)
4. Allen, B., Curless, B., Popovi ́c, Z.: Exploring the space of human body shapes: data-driven synthesis under anthropometric control. SAE Trans. 113(1), 245–248 (2004)
5. Sumner, R.W., Popovi ́c, J.: Deformation transfer for triangle meshes. In: ACM SIGGRAPH 2004 Papers, SIGGRAPH 2004, pp. 399–405. ACM (2004)
6. Yang, Y., Yu, Y., Zhou, Y., Du, S., Davis, J., Yang, R.: Semantic parametric reshaping of human body models. In: 2014 2nd International Conference on 3D Vision, vol. 2, pp. 41–48, December 2014
7. Bogo, F., Black, M.J., Loper, M., Romero, J.: Detailed full-body reconstructions of moving people from monocular RGB-D sequences, pp. 2300–2308 (2015)
8. Li, H., Vouga, E., Gudym, A., Luo, L., Barron, J.T., Gusev, G.: 3D self-portraits. ACM Trans. Graph. 32(6), 187:1–187:9 (2013)
9. Allen, B., Curless, B., Popovi ́c, Z., Hertzmann, A.: Learning a correlated model of identity and pose-dependent body shape variation for real-time synthesis. In: Proceedings of the 2006 ACM SIGGRAPH/Eurographics Symposium on Computer Animation, SCA 2006, pp. 147–156. Eurographics Association (2006)
10. Anguelov, D., Srinivasan, P., Koller, D., Thrun, S., Rodgers, J., Davis, J.: SCAPE: shape completion and animation of people. In: ACM SIGGRAPH 2005 Papers, SIGGRAPH 2005, pp. 408–416. ACM (2005)
11. Loper,M.,Mahmood,N.,Romero,J.,Pons-Moll,G.,Black,M.J.:SMPL:askinned multi-person linear model. ACM Trans. Graph. 34(6), 248:1–248:16 (2015)
12. Azur, M.J., Stuart, E.A., Frangakis, C., Leaf, P.J.: Multiple imputation by chained equations: what is it and how does it work? Int. J. Methods Psychiatr. Res. 20(1), 40–49 (2011)
13. Guyon, I., Weston, J., Barnhill, S., Vapnik, V.: Gene selection for cancer classifi- cation using support vector machines. Mach. Learn. 46(1), 389–422 (2002)
14. BodyLabs-Developer, June 2017
15. Su, X., Khoshgoftaar, T.M.: A survey of collaborative filtering techniques. Adv.
    Artif. Intell. 2009, 4:2 (2009)
16. Royston, P.: Multiple imputation of missing values. Stata J. 4(3), 227–241 (2004)
17. Seo, H., Magnenat-Thalmann, N.: An example-based approach to human body
    manipulation. Graph. Models 66(1), 1–23 (2004)
18. Tsoli, A.: Modeling the human body in 3D: data registration and human shape representation. Ph.D. thesis, Brown University, Department of Computer Science Providence, RI, USA (2014)
19. Streuber, S., Quiros-Ramirez, M.A., Hill, M.Q., Hahn, C.A., Zuffi, S., O’Toole, A., Black, M.J.: Body talk: crowdshaping realistic 3D avatars with words. ACM Trans. Graph. 35(4), 54:1–54:14 (2016)
20. Sheldon, W.H., Stevens, S.S., Tucker, W.B.: The varieties of human physique: an introduction to constitutional psychology, vol. 1. Harper (1940)