STGAN: A Unified Selective Transfer Network for Arbitrary Image Attribute Editing（CVPR19）

3. Proposed Method

3.1 Limitation of Skip Connections in AttGAN

StarGAN and AttGAN adopt encoder-decoder structure, where spatial pooling or downsampling are essential to obtain high level abstract representation for attribute manipulation. Unfortunately, downsampling irreversibly diminishes spatial resolution and fine details of feature map, which cannot be completely recovered by transposed convolutions and the results are prone to blurring or missing details.

StarGAN和AttGAN使用encoder-decoder结构，其中downsampling操作会损失空间上的细节信息，并且无法通过反卷积来恢复，因此生成图像往往会模糊

AttGAN在encoder和decoder之间增加skip connection，但作用仍然有限，作者并没有从理论上进行分析，而是通过实验验证了skip connection的局限性

考虑AttGAN的4个版本

1. AttGAN-ED：不使用skip connection
2. AttGAN：官方版本，使用1个skip connection
3. AttGAN-2s：使用2个skip connection
4. AttGAN-UNet：所有层都使用skip connection，相当于UNet

在某个人脸图像数据集上，令target attribute vector等于source attribute vector，进行人脸重构的任务，Table 1列举了重构的2个指标（PSNR/SSIM），Figure 3展示了重构的结果，可以看到skip connection确实使得人脸重构的效果变好了


现在进行另一个任务，首先在CelebA数据集上训练了一个识别13种attribute的分类器，平均正确率为94.5%，然后生成带有新的attribute的图像，将图像交给attribute分类器去识别，看能不能识别出新加的attribute，从而计算出attribute generate accuracy

Figure 3展示了4个模型的attribute generation accuracy，可以看到skip connection加得越多，attribute generation accuracy越低

综合以上的结论，增加skip connection，重构的图像质量确实会变好，但生成attribure的能力却变差了

3.2 Taking Difference Attribute Vector as Input

定义${\text{att}}_s$为source attribute vector，${\text{att}}_t$为target attribute vector

仅考虑source attribute vector和target attribute vector之间的差值，有3点好处
$${\text{att}}_{diff}={\text{att}}_t-{\text{att}}_s(1)$$

1. 差值表示更简单，使得网络更容易训练
2. 差值包含了哪些attribute需要/不需要编辑，attribute编辑的direction信息
3. 差值更容易被用户提供，用户只需要指定改变哪些属性，以及改变的方向即可

3.3 Selective Transfer Units

作者提出一种更高级的skip connection，称为Selective Transfer Units，模型框架图如Figure 5所示

STU是在GRU的基础上进行改进
公式(2)～(7)

3.4 Network Architecture

STGAN包含2个网络：generator $G$、discriminator $D$

其中$G$包括encoder $G_{enc}$和decoder $G_{dec}$，$D$包括判别网络$D_{adv}$和属性分类网络$D_{att}$

$G_{enc}$包含5层卷积层（kernel_size=4，stride=2），因此Figure 5中输入图像之后共有5个立方体

3.5 Loss Functions

$$\mathbf{f}=G_{enc}(\mathbf{x})(8)$$
其中$\mathbf{f}=\left\{{\mathbf{f}}_{enc}^1,\cdots ,{\mathbf{f}}_{enc}^5\right\}$

4个STU单元的运算如下
$$\left({\mathbf{f}}_t^l,s^l\right)=G_{st}^l\left({\mathbf{f}}_{enc}^l,s^{l+1},{\mathbf{a}\mathbf{t}\mathbf{t}}_{diff}\right)(9)$$

上述公式可以理解为$\mathbf{f}=\left\{{\mathbf{f}}_{enc}^1,\cdots ,{\mathbf{f}}_{enc}^5\right\}$经过STU后变换为${\mathbf{f}}_t=\left\{{\mathbf{f}}_t^1,\cdots ,{\mathbf{f}}_t^4\right\}$，再将${\mathbf{f}}_t$和${\mathbf{f}}_{enc}^5$送入$G_{dec}$中用于生成图像$\hat{\mathbf{y}}$，即
$$\hat{\mathbf{y}}=G_{dec}\left({\mathbf{f}}_{enc}^5,{\mathbf{f}}_t\right)(10)$$
综合公式(8)～(10)，有
$$\hat{\mathbf{y}}=G\left(\mathbf{x},{\mathbf{a}\mathbf{t}\mathbf{t}}_{diff}\right)(11)$$

Reconstruction loss

当${\mathbf{a}\mathbf{t}\mathbf{t}}_{diff}=0$时，生成图像（重构图像）应该与输入图像相等，于是定义reconstruction loss如下
$${\mathcal{L}}_{rec}={\Vert \mathbf{x}-G(\mathbf{x},0)\Vert }_1(12)$$
使用${\ell }_1$-norm ${\Vert \cdot \Vert }_1$来保证重构图像的sharpness

Adversarial loss

当${\mathbf{a}\mathbf{t}\mathbf{t}}_{diff}\ne 0$时，生成图像的ground-truth未知，因此只能使用adversarial loss

本文使用WGAN-GP版本的adversarial loss，分别定义$D_{adv}$和$G$的loss如下
$$\begin{array}{rl}\underset{D_{adv}}{\max }{\mathcal{L}}_{D_{adv}}=& {\mathbb{E}}_{\mathbf{x}}{D}_{adv}(\mathbf{x})-{\mathbb{E}}_{\hat{\mathbf{y}}}{D}_{adv}(\hat{\mathbf{y}})+\\ & \lambda {\mathbb{E}}_{\hat{\mathbf{x}}}{\left({\Vert {\nabla }_{\hat{\mathbf{x}}}{D}_{adv}\left(\hat{\mathbf{x}}\right)\Vert }_2-1\right)}^2(13)\end{array}$$
$$\underset{G}{\max }{\mathcal{L}}_{G_{adv}}={\mathbb{E}}_{\mathbf{x},{\mathbf{a}\mathbf{t}\mathbf{t}}_{diff}}{D}_{adv}\left(G\left(\mathbf{x},{\mathbf{a}\mathbf{t}\mathbf{t}}_{diff}\right)\right)(14)$$
其中$\hat{\mathbf{x}}$ is sampled along lines between pairs of real and generated images

Attribute manipulation loss

引入一个attribute classifier $D_{att}$，与$D_{adv}$共享卷积部分的layer
分别定义$D_{adv}$和$G$的attribute manipulation loss如下
$$\begin{array}{rl}{\mathcal{L}}_{D_{att}}=-\sum _{i=1}^c[& {\mathbf{a}\mathbf{t}\mathbf{t}}_s^{(i)}\log D_{att}^{(i)}(\mathbf{x})+\\ & \left(1-{\mathbf{a}\mathbf{t}\mathbf{t}}_s^{(i)}\right)\log \left(1-D_{att}^{(i)}(\mathbf{x})\right)](15)\end{array}$$
$$\begin{array}{rl}{\mathcal{L}}_{G_{att}}=-\sum _{i=1}^c[& {\mathbf{a}\mathbf{t}\mathbf{t}}_t^{(i)}\log D_{att}^{(i)}(\hat{\mathbf{y}})+\\ & \left(1-{\mathbf{a}\mathbf{t}\mathbf{t}}_t^{(i)}\right)\log \left(1-D_{att}^{(i)}(\hat{\mathbf{y}})\right)](16)\end{array}$$
上标${}^{(i)}$表示属性的第$i$个分量，共有$c$个属性

Model Objective

$D$和$G$的目标函数分别如下
$$\underset{D}{\min }{\mathcal{L}}_D=-{\mathcal{L}}_{D_{adv}}+{\lambda }_1{\mathcal{L}}_{D_{att}}(17)$$
$$\underset{G}{\min }{\mathcal{L}}_G=-{\mathcal{L}}_{D_{adv}}+{\lambda }_2{\mathcal{L}}_{D_{att}}+{\lambda }_3{\mathcal{L}}_{rec}(18)$$
实验中设置${\lambda }_1=1$，${\lambda }_2=10$，${\lambda }_3=100$