GAN学习历程之Semantic Image Synthesis with Spatially-Adaptive Normalizatio论文笔记

Semantic Image Synthesis with Spatially-Adaptive Normalization:

论文地址：https://arxiv.org/pdf/1903.07291.pdf
代码地址：https://github.com/NVlabs/SPADE （代码作者还未发布）
提出：
之前的方法都是直接把语义分割图作为深层网络的输入，因为规范层会“冲掉”语义信息，效果越来越差。
1. Introduction
为解决规范化层“冲掉”语义信息的问题，我们提出了spatially-adaptive normalization，这是一种有条件的归一化层，其可以使用输入的语义分割图通过空间自适应性和学习到的转换，调整激活函数并且也可以有效地在网络中传播语义信息。
2.SPADE
本文主要是把分割布局图转换为逼真的图片，论文作者主要是学习一种映射函数将输入的分割图转换成逼真的图片。
假设语义分割掩码m ∈ L^(H×W)，L是一组语义标签的整数，H和W分别是图片的高和宽，m中的每个条目代表每个像素的语义标签。给定一个包含 N 个样本的 batch，h^i 表示深度卷积网络第 i 层的激活，C^i 表示该卷积层中的通道数，H^