(人脸属性迁移)STGAN: A Unified Selective Transfer Network for Arbitrary Image Attribute Editing

STGAN

文献全称：STGAN: A Unified Selective Transfer Network for Arbitrary Image Attribute Editing
文献出处：[C]. computer vision and pattern recognition, 2019: 3673-3682.
数据集：CelebA

论文贡献（亮点）

• 针对跳跃连接出现的问题做出了改进，引入了STU
• 使用属性差异向量

实验效果图

模型框架图

AttGAN存在的问题

这篇论文是在AttGAN的基础上做的改进。
首先，作者对网络结构中的跳跃连接进行分析，在任意属性编辑的网络结构中，大部分方法都会在编码器和解码器之间建立跳跃连接，因为跳跃连接可以提高生成图像的视觉质量，作者也做了对比实验，如下图所示，从左到右依次是没有跳跃连接、建立一层跳跃连接、二层跳跃连接和UNet对称跳跃连接等网络结构，可以看出跳跃连接对于生成图像的质量具有提升作用。

尽管如此，但跳跃连接会影响属性编辑的效果，因为跳跃连接是直接将编码器中的feature map与解码器的feature map进行通道串联，属性生成精度实现结果如下图所示，可以看出不采用跳跃连接的模型精度最高。

主要思想

Selective Transfer Units
面对上述的两难境地，作者提出了STU（Selective Transfer Units），该转换单元是在GRU的基础上提出来的，其中包括重置门$r^l$和更新门$z^l$，同样也是两进两出。

隐藏码${\hat{s}}^{l+1}$表示为上一层隐藏码与属性差异向量通道并联后，经过反卷积将分辨率提升到上一层的大小，得到本层的输入。
$${\hat{s}}^{l+1}=W_t{\ast }_{{}_T}[s^{l+1},at{t}_{{}_{diff}}]$$ 重置门$r^l$和更新门$z^l$则是得到[0,1]区间的矩阵。
$$r^l=\sigma (W_r\ast [f_{{}_{enc}}^l,{\hat{s}}^{l+1}])$$ $$z^l=\sigma (W_z\ast [f_{{}_{enc}}^l,{\hat{s}}^{l+1}])$$ $$s^l=r_{{}_l}\circ {\hat{s}}^{}$$