人脸表情系列:论文阅读——Unconstrained Facial Expression Transfer using Style-based Generator

该论文提出了一种无约束的面部表情迁移方法,利用styleGAN生成器无需配对数据即可进行表情特征解耦合。通过迭代训练更新特征向量,达到表情迁移目的,减少了传统方法对大量配对数据的依赖。实验结果显示,该方法能有效提取和迁移表情特征,生成自然的面部图像。
摘要由CSDN通过智能技术生成

比较新的论文,2019.12的,来自Facebook AI。

Task是表情迁移,借鉴了styleGAN中的生成器,能得到更自然的large  scale图像。创新主要在生成器的使用方式上,避免了训练中对pair data的需求,一是能保证更充足的数据,二是对于新数据不用重新训练。

表情是一种更为抽象深层的特征,且通常附着于人脸特征上,很难单独提取,会受到个体面部特征差异的影响,通常要考虑如何解耦合。本文利用了styleGAN中的生成器实现:

styleGAN中对输入的latent code产生的不同level的特征进行了解耦合,以实现多种level上对图像生成进行控制,task是更细致地生成图像;

本文目的是通过迭代训练得到输入图像中解耦合的表情特征,然后进行特征的交换实现表情迁移。本文的解耦合实现思路是和以往的方法相反的,通常做法是用CNN从图像中提取特征,通过训练CNN改变网络中的参数调整特征的性质;本文则是直接初始化特征向量,输入styleGAN中预训练的生成器得到复原图像(即我们想要解耦合出表情特征的图像),通过设计目标函数,使得输入的特征向量在训练中不断更新靠近目标图像中的表情特征,这期间生成器参数是固定的,训练的不是网络而是特征向量。

具体步骤和分析如下:

1. 利用检测的landmarks对图像I中的人脸区域进行crop和normalize;

2. 初始化style vectors s_{I}(想要从图像I中提取的特征),输入到预训练好的styleGAN中的生成器model g,使得生成器产生图像I。该生成过程中,生成器model 

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值