STF-GAN:Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform (CV...

创新点：

1. 使用语义映射（semantic maps ）来指导SR域中不同区域的纹理恢复

2. 利用概率图（ probability maps ）来捕捉精细的纹理区别而不是简单的图像片段（simple image segments）

 

Related work:

使用感知损失和对抗损失生成的图像极大程度上增强了重建图像的感知质量，但生成的纹理单调且不自然

 

Method:

1. 类别先验\(\Psi\) ，由语义分割概率图表示：

\(\Psi=P(P_0,P_1,...,P_k,...P_K)\).

\(P_k\)--属于第k类的概率，\(K\)--所有的类别数

2. 引入类别先验后，问题转化为：

\(\hat{y}=G_\theta(x|\Psi)\)

3. 一对转换参数 \((\gamma,\beta)\)，函数 \(M: \Psi\mapsto(\gamma,\beta)\)

 \(\hat{y}=G_\theta(x|\gamma,\beta)\)

\((\gamma,\beta)=M(\Psi)\)

【注意】 \(M\)可以是任意的方程，在这里\(M\)采用的是卷积神经网络

4. 通过缩放和移动特定图层的特征图来执行转换：

\(SFT(F|\gamma,\beta)=\gamma\bigodot F+\beta\)

结构：

采用GAN

1. 使用16个 residual blocks

2. skip connection : 用于简化深度CNN的训练

3. 后面的unsample 采用 最近邻域插值

4. 对抗网络 D 采用 VGG-style

 

损失函数：

1. 感知损失：使用预训练的VGG-19网络

2. 对抗损失：

-------------------------------------------------------------------------------------------------------------------------------------------

摘要：

modulate features of a few intermediate layers in a single network conditioned on semantic segmentation probability maps. 

在语义分割概率图的条件下调制单个网络中的几个中间层的特征。

Spatial Feature Transform (SFT) layer ：

advantges:

1. It is parameter-efficient. Reconstruction of an HR image with rich semantic regions can be achieved with just a single forward pass through transforming the intermediate features of a single network. 它具有参数效率。 通过转换单个网络的中间特征，只需一次正向传递就可以实现具有丰富语义区域的HR图像的重建。

2. SFT layers can be easily introduced to existing SR network structures.可移植性强

3. It is extensible. While we considercategorical prior in our study, other priors such as depth maps can also be applied
using the proposed SFT layer. 可拓展性

转载于:https://www.cnblogs.com/btschang/p/9774234.html