点击上方“机器学习与生成对抗网络”，关注"星标"
获取有趣、好玩的前沿干货！
作者：知乎-王嘉顺
https://www.zhihu.com/people/wang-jia-shun-84
Neural Pose Transfer By Spatially Adaptive Instance Normalization
本文发表于CVPR 2020，由复旦大学和Google LLC合作完成。
作者：Jiashun Wang, Chao Wen, Yanwei Fu, Haitao Lin, Tianyun Zou, Xiangyang Xue, Yinda Zhang
文章受Style Transfer等任务的启发，提出了Spatially Adaptive Instance Normalization，将对image pixel处理的方式带来到对3D模型的三维坐标的处理，并将其应用于3D pose transfer任务。这种想法对于3D生成有些借鉴意义。
论文地址：https://arxiv.org/pdf/2003.07254.pdf
图1 效果展示
文章概述
形变迁移在CV和Graphics领域一直广受关注。本文是为了解决pose transfer，完成将source mesh的pose迁移到target mesh上的任务。受[1]、[2]等style transfer、image synthesis等image生成任务上的启发，本文将对image pixel的处理方法改进后应用于3D坐标上面，很好的完成了pose transfer这一conditional 3D 生成任务。
与之前Graphics较多方法不同的是，本文不需要额外的mesh以及任何人工标记点来找到correspondence也不需要额外生成的cage来辅助变形，如[3]、[4]等。同时作为一种learning-based的方法，与之前的方法[5]相比，本文对于从未见过的、细节更丰富的identity模型仍然有着非常好的泛化能力。同时本文对于乱序点的输入、pose的noise输入都有着较强的鲁棒性。
方法
问题定义
将一个3D mesh定义为M(α, β, θ)，α表示identity，β表示pose，θ表示点的输入顺序。输入 和
，得到
。
模型结构
图2 网络结构
图3 网络结构
本文模型的网络结构如图2所示，首先，通过Pose Feature Extractor网络提取Pose特征并与identity拼接，然后再利用SPAdaIN与SPAdaIN ResBLK组成的Decoder生成最终结果。
与Instance Normalization类似，activation是在每一个channel和instance上进行normalized的，之后通过学习到的scale γ和bias β来调节。我们假设在第i-th layer, M表示提供identity的3D模型，
是3D模型的点的个数， 
是channel数， 
表示batch size，h是activation value。SPadaIN将如下计算
SPAdaIN与SPAdaIN ResBLK具体结构如图2所示。
Loss
其中 是为了使生成的坐标在正确的位置，
则是为了生成的结果更加光滑。
实验结果
本文应用SMPL model进行训练，并且在smpl和其他更精细化的模型上进行测试。在测试中，所有的identity是unseen的，而pose包含seen和unseen两种情况。
表1 与传统方法的定量比较
pose transfer大多是不包含ground truth的情形，本文更多是展示qualitative的结果。
图4 SMPL上的测试结果
图5 一些更精细化的identity的迁移结果
图6 更多的生成结果
图7 点的输入顺序不同
图8 对pose noise的鲁棒性
全文总结
本文提出一个端到端的深度神经网络模型，可以有效的将source mesh的pose迁移到target mesh上，且无需任何额外的信息输入。模型是以style transfer等image domain的想法出发，改进以适应3D points，很好的完成了pose迁移的任务。对于unseen、细节更丰富的target mesh仍有出色的效果，同时对于乱序点的输入、pose noise有较强的鲁棒性。
[1] Xun Huang and Serge Belongie. Arbitrary style transfer in real-time with adaptive instance normalization. In Proceedings of the IEEE International Conference on Computer Vision, pages 1501–1510, 2017.
[2] Taesung Park, Ming-Yu Liu, Ting-Chun Wang, and Jun-Yan Zhu. Semantic image synthesis with spatially-adaptive normalization. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 2337–2346, 2019.
[3] Robert W Sumner and Jovan Popovic. Deformation transfer ´ for triangle meshes. ACM Transactions on graphics (TOG), 23(3):399–405, 2004.
[4] Mirela Ben-Chen, Ofir Weber, and Craig Gotsman. Spatial deformation transfer. In Proceedings of the 2009 ACM SIGGRAPH/Eurographics Symposium on Computer Animation, pages 67–74. ACM, 2009.
[5] Lin Gao, Jie Yang, Yi-Ling Qiao, Yukun Lai, Paul Rosin, Weiwei Xu, and Shihong Xia. Automatic unpaired shape deformation transfer. ACM Transactions on Graphics, 37(6):1– 15, 2018.
公众号近期荐读：
GAN&CV交流群，无论小白还是大佬，诚挚邀您加入！
一起讨论交流！长按备注【进群】加入：
更多分享、长按关注本公众号：
6525
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
