Semantic Image Synthesis with Spatially-Adaptive Normalization（CVPR19）

3. Semantic Image Synthesis

定义$\mathbf{m}\in {\mathbb{L}}^{H\times W}$为semantic segmentation mask，其中$\mathbb{L}$是一系列整数用于指定semantic label

Spatially-adaptive denormalization

定义${\mathbf{h}}^i\in {\mathbb{R}}^{N\times C^i\times H^i\times W^i}$为CNN的第$i$层的包含$N$个样本的feature map

本文提出一种新的conditional normalization方法，称为SPatially-Adaptive (DE)normalization（SPADE），如Figure 2所示

在SPADE输出的feature map中，下标为$\left(n\in N,c\in C^i,y\in H^i,x\in W^i\right)$的值的计算方式如下
$${\gamma }_{c,y,x}^i(\mathbf{m})\frac{h_{n,c,y,x}^i-{\mu }_c^i}{{\sigma }_c^i}+{\beta }_{c,y,x}^i(\mathbf{m})(1)$$
以上公式中，$\frac{h_{n,c,y,x}^i-{\mu }_c^i}{{\sigma }_c^i}$首先将输入feature map按照channel维度归一化为零均值单位方差，然后将$\mathbf{m}$送入simple two-layer convolutional network，来学习用于denormalization的modulation parameter，即${\gamma }_{c,y,x}^i(\mathbf{m})$和${\beta }_{c,y,x}^i(\mathbf{m})$

SPADE可以看作已有normalization方法的通用的版本

SPADE generator

因为SPADE接收$\mathbf{m}$作为输入，于是对于生成器的输入层就不需要输入$\mathbf{m}$了

和已有的class-conditional generator结构类似，生成器的输入只包含一个random vector

Figure 4展示了生成器的结构，其中利用SPADE layer构造了SPADE ResBlock

【总结】
本文的创新点在于提出了一种新的normalization方法，SPADE，具备更加通用的性质，已有的normalization方法都可以看走它的特例，通过SPADE的通用型，可以自适应地学习denormalization的参数，从而生成质量更好的图像