比较新的论文,2019.12的,来自Facebook AI。
Task是表情迁移,借鉴了styleGAN中的生成器,能得到更自然的large scale图像。创新主要在生成器的使用方式上,避免了训练中对pair data的需求,一是能保证更充足的数据,二是对于新数据不用重新训练。
表情是一种更为抽象深层的特征,且通常附着于人脸特征上,很难单独提取,会受到个体面部特征差异的影响,通常要考虑如何解耦合。本文利用了styleGAN中的生成器实现:
styleGAN中对输入的latent code产生的不同level的特征进行了解耦合,以实现多种level上对图像生成进行控制,task是更细致地生成图像;
本文目的是通过迭代训练得到输入图像中解耦合的表情特征,然后进行特征的交换实现表情迁移。本文的解耦合实现思路是和以往的方法相反的,通常做法是用CNN从图像中提取特征,通过训练CNN改变网络中的参数调整特征的性质;本文则是直接初始化特征向量,输入styleGAN中预训练的生成器得到复原图像(即我们想要解耦合出表情特征的图像),通过设计目标函数,使得输入的特征向量在训练中不断更新靠近目标图像中的表情特征,这期间生成器参数是固定的,训练的不是网络而是特征向量。
具体步骤和分析如下:
1. 利用检测的landmarks对图像中的人脸区域进行crop和normalize;
2. 初始化style vectors (想要从图像中提取的特征),输入到预训练好的styleGAN中的生成器model ,使得生成器产生图像。该生成过程中,生成器model