Spatial Fusion GAN for Image Synthesis论文理解

SF-GAN（空间融合GAN）原理解析

一、摘要

本文介绍了一种创新的空间融合GAN，它结合了几何生成器和外观生成器来实现同时生成几何和外观空间。几何生成器学习背景图像的上下文内容将前景对象转换放置到背景图像中。外观合成器调整前景物体的颜色，亮度和样式，并将它们和谐地嵌入到背景图像中，其中引入了引导过滤器以保留细节。这两个合成器是相互连接的，它们可以在没有监督的情况下端到端的进行训练。

二、GAN生成图像三种经典方式

直接图像生成
图像转换
图像合成

三、SF-GAN

1、几何合成器

fig.2 图中蓝色线框部分
由空间变换网络(STN),合成模块和鉴别器组成
STN：
由tab.1中的几何估计网络和具有N个参数的变换矩阵组成，该N个参数控制前景对象的几何变换。
前景对象和背景图像的连接作为STN的输入，其中几何估计网络将预测变换矩阵以变换前景对象。
通过应用以原始图像中特定位置为中心的采样内核，可以计算出转换图像中的每个像素。 原始图像和转换图像中的像素用$P^s=(p_1^s,p_2^s,...,p_N^s)$和$P^t=(p_1^t,p_2^t,...,p_N^t)$，我们使用如下的变换矩阵H来演示逐像素变换：
$\left[\begin{array}{c}{x}_i^t\\ y_i^t\\ 1\end{array}\right]$ = H $\left[\begin{array}{c}{x}_i^s\\ y_i^s\\ 1\end{array}\right]$
$p_i^s=(x_i^s,y_i^s)$和 p j t = ( x i t , y i t ) p_j^t = (x_i^t,y_i^t)