【风格迁移】Adaptive Instance Normalization（AdaIN）

前言

近几年人脸属性迁移的课题不再是单纯地做跨域迁移，还要考虑迁移后的多样性（mutil-modal），因此这个方向开始跟风格迁移相结合。结合我最近看过的几篇论文，发现它们都使用了同一个零部件——AdaIN，而且截止文本发布时间，据谷歌学术显示，该方法的文献被引用量达到517次，说明该方法受到了研究者们一定的关注。因此我觉得有必要记录一下这个思路的起点，以便以后查阅。

AdaIN

文献全称：Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization
文献出处：[C]. international conference on computer vision, 2017: 1510-1519.
数据集： MS-COCO、WikiArt

论文贡献（亮点）

• 提出了一种自适应实例归一化（AdaIN）层。

实验效果图
其中红框内为该方法的实验效果图。

模型框架图

回顾IN与CIN

Instance Normailization
假设输入图像的4D tensor 为：$x\in {\mathbb{R}}^{N\times C\times H\times W}$，IN会将每个通道的feature map的均值和标准差进行归一化：
$$IN(x)=\gamma (\frac{x-\mu (x)}{\sigma (x)})+\beta$$ 其中$\gamma$、$\beta$是可学习的仿射参数；$\mu (x)$、$\sigma (x)$分别表示均值和标准差，在空间维度上计算得到，独立于通道和批次。
$${\mu }_{nc}(x)=\frac{1}{HW}\sum _{h=1}^H$$