3. Our NICE-GAN
3.1. General Formulation
No Independent Component for Encoding (NICE).
以domain y y y上的判别器 D y D_y Dy为例, D y D_y Dy的结构包括encoder E y D E_y^D EyD,以及classifier C y C_y Cy
D y D_y Dy不断学习到判别图像是否属于domain y y y的能力,因此encoder E y D E_y^D EyD提取的特征是非常有用的,于是 y → x y\rightarrow x y→x的生成器可以复用 E y D E_y^D EyD
3.2. Architecture
Multi-Scale Discriminators D x D_x Dx and D y D_y Dy.
第1处结构上的改进,判别器的结构使用multi-scale structure
之前的文章中也使用了Multi-Scale Discriminators,具体来说,将图像down-sampling为一系列尺寸,然后将这一系列图像送入一系列判别器中
本文采用的做法更加efficient,具体Multi-Scale Discriminators的结构如Figure 2所示,总共设置了3级 { C x 0 , C x 1 , C x 2 } \left \{ C_x^0, C_x^1, C_x^2 \right \} {Cx0,Cx1,Cx2}
简单来说就是图像经过encoder之后的feature map送入 C x 0 C_x^0 Cx0,然后经过卷积得到feature map送入 C x 1 C_x^1 Cx1,最后再经过卷积得到feature map送入 C x 2 C_x^2 Cx2
第2处结构上的改进,对于U-GAT-IT中的CAM attention,本文将它升级为残差的版本
E x ( x ) E_x(x) Ex(x)是encoder得到的feature map,利用CAM学习到一个weight w w w,U-GAT-IT的做法是使用 w w w对 E x ( x ) E_x(x) Ex(x)进行加权,得到reweighted feature map(又称attention map)
本文的做法是引入一个trainable parameter γ \gamma γ,来线性组合原始 E x ( x ) E_x(x) Ex(x)与加权的 E x ( x ) E_x(x) Ex(x),即 γ × w × E x ( x ) + E x ( x ) \gamma\times w\times E_x(x) + E_x(x) γ×w×Ex(x)+Ex(x)
第3处结构上的改进,对判别器使用spectral normalization
3.3. Decoupled Training
因为Encoder是复用的,所以 it will incur inconsistency if we apply conventional adversarial training.(缺乏一个理论上的解释)
To overcome this defect, we decouple the training of E x E_x Ex from that of the generator G x → y G_{x\rightarrow y} Gx→y.