SIGGRAPH Asia 2018的文章,首次提出了一个全自动的变形迁移方法,且不需要成对的训练数据。
论文主页:http://geometrylearning.com/ausdt/
目标
首先明确几个概念,我这里提到的“形状”是指网格模型的identity信息,也就是这个模型是人还是猫,是什么体型之类的;“姿态”指动作信息,比如站立、举起右手。deformation要求只改变姿态而保留形状。
Deformation transfer(变形迁移),给定源模型的两个姿态S和S’,目标模型T,目标是抽取出从S到S’之间的潜在运动,并将这个运动信息迁移到T上,得到具有S的姿态和T的形状的模型T’。源模型和参考模型不必有相同的顶点数和拓扑,但一般要求初始姿态相同。下图是本文的一个例子,将瘦子S的变形迁移到胖子T上。
现有的问题
1、需要已知源和目标模型point-wise的对应关系,即已知所有顶点或部分关键点的对应
2、需要成对的数据,也就是需要源和目标有一一对应的姿态
本文的解决方案
1、提出VAE-Cycle GAN框架解决了上述两个问题,变分自编码器将网格模型编码到隐空间,cycle GAN用来建立两个