nb_200826_2020_cvpr_StyleRig

最新推荐文章于 2024-07-08 20:01:43 发布

CherylHoo

最新推荐文章于 2024-07-08 20:01:43 发布

阅读量226

点赞数

分类专栏：论文摘要文章标签：深度学习计算机视觉

本文链接：https://blog.csdn.net/hxydip/article/details/108248168

版权

11 篇文章 0 订阅

订阅专栏

StyleRig: Rigging StyleGAN for 3D Control over Portrait Images
2020 cvpr(oral)

0. Abstract

face rig：对艺术家友好的控制操作，如geometric identity、表情、反射、场景光照等。
人脸合成能够应用在特效、扩展现实、虚拟世界和下一代通信等领域中。在对face rig建模过程中往往缺乏训练数据，以及在最终渲染时的真是图像。基于3D面部扫描技术可以创建高质量人脸数据库，但其种类和泛化能力有限。
GAN可以根据学习到的分布来合成人脸。StyleGAN 基于 GAN和style transfer[12]提出可以生成各种人脸属性的网络结构，包含粗糙（头发、几何）、中等（表情、脸毛）、精细（色彩分布、雀斑）三种等级。
本文方法同时解决两个问题：morphable face models和generative face models。
- 利用固定预训练的StyleGAN，从而无需其它训练数据；同时提供可控语义参数。
- 基于自监督的双路循环一致性损失（self-supervised two-way cycle consistency loss）

GAN 包含两个主要组件：一个生成器（generator）和一个鉴别器（discriminator）。
- generator输入随机噪声向量，输出能够欺骗discriminator的结果
- discriminator专门区分gen的输出是否真实
- 渐进式策略（progressive strategy）：逐步增加gen和disc的尺寸，即在训练过程中增加layers。由此使得训练稳定，得到高分辨率的人脸图像。
StyleGAN 能够对生成图像进行更多控制（相比于GAN）。但无法提供语义层面的可理解的控制。
[17,2019]通过研究GAN的隐藏空间，能够对生成图像进行缩放、2D变换等编辑。
[16,2017,cvpr]对GAN输入图像而非随机向量，通过gen来生成目标域的另一幅图像。这需要成对的训练数据。而CycleGAN[41]和UNIT[23]则通过循环一致损失（cycle-consistency losses），无需成对训练数据酒客实现图图转换

3DMM通常被用于表示人脸，应用于合成计算机图像渲染中。
- 人脸被参数化为：identity geometry, expressions, skin reflectance 和 scene illumination。
  - 表情通过 blendshapes 建模
  - 光照通过 球谐函数(Spherical Harmonics 建模
- 这些模型参数通过对真实人脸的3D扫描和网络影片来获取。然后通过几何、表情等等3DMM参数配置合成人脸图像。但合成图像往往不够真实。
基于学习的端到端模型分为人脸重建技术（reconstruction only）和人脸重建与建模技术（reconstruction plus model learning）。
- MoFA[35,2017,iccv]利用CNN将人脸映射到3DMM空间，在通过可微渲染器来合成重建人脸。网络通过大量人脸图像进行自监督学习。[37,2019,cvpr]通过感知损失（perceptual loss）增强重建渲染。
- RingNet[27,2019,cvpr]和FML[32,2019,cvpr]通过多图像一致性损失来区分身份，合成单人多照或确保多照不同人。
- 其它各种技术的详细理解参考[10,2019]和[42,2018]

关注