[ICCV2021]3DStyleNet: Creating 3D Shapes with Geometric and Texture Style Variations

标题：3DStyleNet: Creating 3D Shapes with Geometric and Texture Style Variations

链接：https://arxiv.org/pdf/2108.12958

本文做的是基于3D物体的风格迁移。与之前模型不同的是，他可以同时迁移纹理和几何形状。由于样本不足，本文是将纹理和几何形状的风格迁移单独训练的。几何部分所谓的逻辑就是每个语义分割部位的相对大小，而纹理的风格迁移就遵循了之前工作中的定义。

模型结构

整体网络分为三个部分，纹理迁移，几何迁移和最后的3D空间中的优化阶段。

几何迁移

这里作者认为几何上风格的不同主要取决于局部的大小，比如动漫里通常头部比较大，而真实场景中头部偏小。因此作者将输入的3D模型分解成固定个数的语意块，并将每个语意块映射到一个椭圆形上，使用线性蒙版来进行仿射变换。目的是将原始图中每个部位调整成目标图中每个部位的相对大小，这里使用的训练损失就是基于每个语意区域的chamfer距离。

纹理迁移

这就是使用了基于3DStyleNet直接对纹理图做风格迁移，这个网络的特点是会将目标纹理贴合到当前形状进行渲染重建，因此可以保证一定的3D一致性。

精炼优化

这一部分就是将学习到的纹理和形状输入可微渲染器后输入VGG做风格和内容一致性的损失。这一步的必要性在于3DStyleNet生成的结果不会区分背景和物体，因此可以看到图像中背景上也模拟出了一些纹理。