SFTGAN论文学习笔记

骑猪撞地球J

于 2019-06-10 12:13:46 发布

阅读量712

点赞数

分类专栏：图像超分辨率文章标签： SFTGAN

本文链接：https://blog.csdn.net/weixin_43840215/article/details/91364866

版权

“Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform”发表于CVPR 2018
作者论文、补充材料、数据集及代码地址：http://mmlab.ie.cuhk.edu.hk/projects/SFTGAN/

这篇论文提出了使用先验类别信息来解决超分辨率纹理不真实的问题 ，就是在超分辨率的合成中使用语义图，语义图的生成使用了图像分割网络。文章探讨了不同分辨率下的语义分割的误差，比较后发现其实在高低分辨率图像对于分割的精度影响不大。

SFTGAN网络结构
在这里插入图片描述网络定义部分代码：


class SFTLayer(nn.Module):
    def __init__(self):
        super(SFTLayer, self).__init__()
        self.SFT_scale_conv0 = nn.Conv2d(32, 32, 1)
        self.SFT_scale_conv1 = nn.Conv2d(32, 64, 1)
        self.SFT_shift_conv0 = nn.Conv2d(32, 32, 1)
        self.SFT_shift_conv1 = nn.Conv2d(32, 64, 1)

    def forward(self, x):
        # x[0]: fea; x[1]: cond
        scale = self.SFT_scale_conv1(F.leaky_relu(self.SFT_scale_conv0(x[1]), 0.1, inplace=True)