《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》论文及代码实现及网络结构

【时间】2020.01.07

【题目】《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》论文及代码实现

 

• 《基于感知损失函数的实时风格转换和超分辨率重建》
• 文章地址：《Perceptual Losses for Real-Time Style Transfer and Super-Resolution》 arXiv.1603.08155
• 论文中文翻译：[译] 
• 论文代码实现：GitHub代码 dxyang/StyleTransfer

一、论文要点

1、网络结构

 

• 包含图片转移网络和Loss网络两部分，包含style loss和 content loss 两种损失，基本思路和Neural Style transfer相似，只是使用了图片转移网络进行风格迁移，而Neural Style transfer是通过梯度上升直接修改content 图像x。
• Loss网络使用VGG-16，用于计算两个loss
• 图片转移网络的结构如下（包括3层卷积，5个残差block，2个反卷积（上采样））--参考上面的GitHub代码：

#pytorch
class ImageTransformNet(nn.Module):
    def __init__(self):
        super(ImageTransformNet, self).__init__()
        
        # nonlineraity
        self.relu = nn.ReLU()
        self.tanh = nn.Tanh()

        # encoding layers
        self.conv1 = ConvLayer(3, 32, kernel_size=9, stride=1)
        self.in1_e = nn.InstanceNorm2d(32, affine=True)

        self.conv2 = ConvLayer(32, 64, kernel_size=3, stride=2)
        self.in2_e = nn.InstanceNorm2d(64, affine=True)

        self.conv3 = ConvLayer(64, 128, kernel_size=3, stride=2)
        self.in3_e = nn.InstanceNorm2d(128, affine=True)

        # residual layers
        self.res1 = ResidualBlock(128)
        self.res2 = ResidualBlock(128)
        self.res3 = ResidualBlock(128)
        self.res4 = ResidualBlock(128)
        self.res5 = ResidualBlock(128)

        # decoding layers
        self.deconv3 = UpsampleConvLayer(128, 64, kernel_size=3, stride=1, upsample=2 )
        self.in3_d = nn.InstanceNorm2d(64, affine=True)

        self.deconv2 = UpsampleConvLayer(64, 32, kernel_size=3, stride=1, upsample=2 )
        self.in2_d = nn.InstanceNorm2d(32, affine=True)

        self.deconv1 = UpsampleConvLayer(32, 3, kernel_size=9, stride=1)
        self.in1_d = nn.InstanceNorm2d(3, affine=True)

    def forward(self, x):
        # encode
        y = self.relu(self.in1_e(self.conv1(x)))
        y = self.relu(self.in2_e(self.conv2(y)))
        y = self.relu(self.in3_e(self.conv3(y)))

        # residual layers
        y = self.res1(y)
        y = self.res2(y)
        y = self.res3(y)
        y = self.res4(y)
        y = self.res5(y)

        # decode
        y = self.relu(self.in3_d(self.deconv3(y)))
        y = self.relu(self.in2_d(self.deconv2(y)))
        #y = self.tanh(self.in1_d(self.deconv1(y)))
        y = self.deconv1(y)

        return y

• 训练时使用1张风格图片和多张内容图片进行训练，更新图片转移网络,训练完成后图片转移网络能够直接对输入的内容图片进行风格迁移。