Point-Based Modeling of Human Clothing 笔记

1. Point-Based Modeling of Human Clothing 笔记

数据集: Cloth3D

H. Bertiche, M. Madadi, and S. Escalera. Cloth3d: Clothed 3d humans. In Proc. ECCV, 2020.

人体姿态生成模型: SMPL

M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black. SMPL: A skinned multi-person linear model. ACM Trans. Graphics (Proc. SIGGRAPH Asia), 34(6):248:1– 248:16, Oct. 2015.

1.1简要

摘要：

本文提出了一种基于点云的服装生成、人体姿态的深度学习模型，对具有不同拓扑结构的服装点云、人体姿态进行预测，通过输入一张人物图片，可生成其符合人体姿态的服装点云以及拓扑结构。

服装点云生成方法:

该模型学习Cloth3D数据集中不同种类的服装拓扑、点云数据，使用latent code vector(the outfit code)对服装点云数据进行存储与编码。结合使用SMPL模型，生成贴合目标人体拓朴结构的服装点云。

人体姿态点云的生成方法:

SMPL模型的使用

优点：

模型可对所有训练得到的latent code vector，生成其不同拓扑结构、几何形状的服装点云数据。使用该模型只需输入单张图片即可生成对应服装点云数据。

本论文模型中使用了与点云拓扑结构不相关的损失函数EMD

1.2方法细节

1.2.1Learning the model

预备知识

1. 模型: GLO

P. Bojanowski, A. Joulin, D. Lopez-Paz, and A. Szlam. Optimizing the latent space of generative networks. In Proc. ICML, 2019.

2. latent code vector

模型训练的目标一维向量。使用该向量一件衣服点云数据进行编码。

3. Cloth3D数据集

SMPL网格点云数据。

4. approximate earth mover’s distances

M. Liu, L. Sheng, S. Yang, J. Shao, and S.-M. Hu. Morphing and sampling network for dense point cloud completion.arXiv preprint arXiv:1912.00280, 2019.

5. Cloud Transformer

K. Mazur and V. Lempitsky. Cloud transformers. In Proc. ICCV, 2021.

流程

我们对每个服装随机初始化一个latent code vector,训练集中的每个服装的编码向量 L = { l 1 , … , l n } L= \{l_1,\dots,l_n\} L={l1​,…,ln​},其中对 $k=1,\dots ,n$ 有 $l_k\in L\subseteq {\mathbb{R}}^d$

在Cloth3D数据集中对服装$k$序列的每一帧$j$的服装点云数据$c_k^f$，人体姿态SMPL mesh $m_k^f$进行提取，构建自定义数据集 { ( c k f , m k f , l k ) } \{(c_k^f,m_k^f,l_k)\} {(ckf​,mkf​,lk​)}。

为获得目标点云数据，定义模型$GLO(L,M)\to C$实现lantent code、人体mesh数据与服装点云数据的映射关系，其中$GLO(L,M)$可通过训练更新模型参数。在此神经网络使用Cloud Transformer作为网络结构的一部分，用于点云处理的相关操作。

在这里我们定义损失函数:
$$\min \frac{1}{n}\sum _{k=1}^n\frac{1}{F_k}\sum _{f=1}^{F_k}Los{s}_{3D}(GLO(l_k,m_k^f),c_k^f)\text{\hspace{1em}(1)}$$
在上式中$F_k$为第$k$个服装序列的长度，$Los{s}_{3D}$为生成点云数据与真实点云数据的损失值，相似性测度函数$Los{s}_{3D}$使用EMD(approximate earth mover’s distances)，使用该测量相似性函数，可忽略点云数据的拓扑结构。在每一轮训练中，将编码向量$L$映射到单位球上。

训练结束后获得对应的latent code vector,可通过设计相关的神经网络进行外观纹理数据的映射。

背景知识

1. 对复杂的服装进行建模时虚拟试衣系统的重要部分，但存在拓扑结构复杂、服装颜色、质感变化多端，难以生成高质量的服装。