Perceptual Losses for Real-Time Style Transfer and Super-Resolution

(基于感知损失函数的实时风格转换和超分辨率重建)

一、概述

1. 图像转换问题：将一个输入图像变换成一个输出图像。

(1)流行的处理方法：图像转换的方法通常是训练前馈卷积神经网络，将输出图像与原本图像的逐像素差距作为损失函数。

(2)并行工作表示，高质量的图像可以通过用预训练好的网络提取高级特征、定义并优化感知损失函数来产生。

(3)结合以上两种方式的优点：

本文提出采用感知损失函数训练前馈网络进行图像转换的任务。

实验任务：

①图像风格化

②单图的超分辨率重建

实验结果：

①图像风格化，训练一个前馈网络去解决实时优化问题（Gatys等人提出的），和基于有优化的方法对比，网络产生质量相当的结果，却能做到三个数量级的提速；

②实验了单图的超分辨率重建，同样采用感知损失函数来代替求逐像素差距的损失函数。

2. 图像转换任务：

(1) 图像处理：图像降噪，超分辨率重建，图像上色，这都是输入一个退化的图像（噪声，低分辨率，灰度），输出一个高质量的彩色图像；

(2) 计算机视觉：语义分割，深度估计，其中的输入是一个彩色图像，输出是图像对场景的语义或几何信息进行了编码。

一个处理图像转换任务的方法是在有监督模式下训练一个前馈卷积神经网络，用逐像素差距作损失函数来衡量输出图像和输入图像的差距。

3. 逐像素求差的损失函数的缺陷

(1)无法抓住输入及输出图像在感知上的差距。

(2)之前，使用逐像素比较的损失函数：即输出图像和真实图像每像素颜色的空间距离，使这个距离最小，这个方法存在弊端：

e.g.有2张基本一样的图像，其中2张图片每个像素相差1，基本视觉效果以及图片结构等都是一致的，但是其计算出来的损失函数却是相差较大的。

(3)目前工作表明：

高质量的图像可以通过建立感知损失函数