(人脸属性迁移)STGAN: A Unified Selective Transfer Network for Arbitrary Image Attribute Editing-CSDN博客

本文链接：https://blog.csdn.net/WhaleAndAnt/article/details/104677489

STGAN是针对AttGAN在属性编辑中的问题进行改进的模型，通过Selective Transfer Units（STU）解决了跳跃连接对属性编辑效果的影响。STU在GRU基础上设计，结合属性差异向量，提高了属性生成的精度。损失函数包括重构、对抗性和属性操作损失。在 CelebA 数据集上进行了实验，展示了STGAN在图像属性编辑上的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

STGAN

文献全称：STGAN: A Unified Selective Transfer Network for Arbitrary Image Attribute Editing
文献出处：[C]. computer vision and pattern recognition, 2019: 3673-3682.
数据集：CelebA

论文贡献（亮点）

针对跳跃连接出现的问题做出了改进，引入了STU
使用属性差异向量

实验效果图
在这里插入图片描述
模型框架图

AttGAN存在的问题

这篇论文是在AttGAN的基础上做的改进。
首先，作者对网络结构中的跳跃连接进行分析，在任意属性编辑的网络结构中，大部分方法都会在编码器和解码器之间建立跳跃连接，因为跳跃连接可以提高生成图像的视觉质量，作者也做了对比实验，如下图所示，从左到右依次是没有跳跃连接、建立一层跳跃连接、二层跳跃连接和UNet对称跳跃连接等网络结构，可以看出跳跃连接对于生成图像的质量具有提升作用。
跳跃连接对比实验
尽管如此，但跳跃连接会影响属性编辑的效果，因为跳跃连接是直接将编码器中的feature map与解码器的feature map进行通道串联，属性生成精度实现结果如下图所示，可以看出不采用跳跃连接的模型精度最高。
在这里插入图片描述

主要思想

Selective Transfer Units
面对上述的两难境地，作者提出了STU（Selective Transfer Units），该转换单元是在GRU的基础上提出来的，其中包括重置门 $r^l$ 和更新门 $z^l$ ，同样也是两进两出。
在这里插入图片描述
隐藏码 $\hat{s}^{l+1}$ 表示为上一层隐藏码与属性差异向量通道并联后，经过反卷积将分辨率提升到上一层的大小，得到本层的输入。
$\hat{s}^{l+1}=W_t*_{_T}[s^{l+1},att_{_{diff}}]$ 重置门 $r^l$ 和更新门 $z^l$ 则是得到[0,1]区间的矩阵。
$r^l=\sigma(W_r*[f_{_{enc}}^l,\hat{s}^{l+1}])$ $z^l=\sigma(W_z*[f_{_{enc}}^l,\hat{s}^{l+1}])$ $s^l=r_{_l}\circ\hat{s}^{l+1}$