文献阅读1-Single Image Reflection Separation with Perceptual Losses

摘要：
1.是一种从单个图像分离反射的方法。
2.利用全卷积网络，进行端对端的训练。
3.主要是两种损失函数：
（1）来自perception network的feature loss
（2）adversarial loss
4.还提出了一种exclusion loss，能够像素级分离反射。
5.另外的贡献是制作了数据集。
6.采用PSNR和SSIM来作为客观评价指标。
Introduction：
1.带反射的图像的数学模型：I=T+R
其中T为透射层，R为反射层。我们的目标是在给定I的情况下，恢复T。
2.CEILNet用了DNN训练了一个模型进行反光消除，但是只学到了像颜色、边缘这样的低层信息，学不到高层的信息。Low-level信息对于反光消除是远远不够的，因为颜色是随机的。
3.我们训练全卷积神经网络，利用perception loss，能够学到低层以及高层信息。
perceptual losses（这两个分别是对图片信息的不同level进行处理）：
（1）feature loss主要是来自visual perceptual network
（2）adversarial loss主要是去修正输出的transmission layer的。
exclusion loss主要是为了在梯度上对独立的层进行分离。
related work:
1.Multiple-image methods.
运动提示或者从校准的摄像机推断出，或者运动视差，假设背景和反射物体具有非常不同的运动场。
2.Single-image methods
一般来说用单张图片作为输入都要有预先定义的先验条件。比较常用的有两种：
（1）用图片的梯度稀疏性(gradient sparsity)来找到最小的边缘和角点，然后进行层的分离。gradient sparsity一般都有用户的协助。这类方法是基于low-level 的图片信息，所以面对high-level时就无能为力了。
（2）另一个的先验条件是反射层总是失焦并且比较平滑(out of focus and appears smooth)。虽然反射层相对平滑是合理的，但是如果反射层对比度比较高的话，这就不可行了。
https://github.com/fqnchina/CEILNet
overview：
（一）、loss函数包括三部分：
1.feature loss：比较图片的featur space
2.adversarial loss：对真实图片的修复
3.exclusion loss：在梯度域中将transmission layer和reflection layer进行分离。
总的loss如下：
L(θ)=w1Lfeat(θ)+w2Ladv(θ)+w3Lexcl(θ)
其中w1=0.1,w2=0.01,w3=1
（二）、输入
先从VGG-19中提取conv1_2， conv2_2, conv3_2, conv4_2, conv5_2的特征，然后和输入图片拼接起来作为模型f的输入。从其他模型中提取的特征，形成超列特征，为了使输入的特征，学到了其他大型数据集上的视觉感知。1472维。
（三）、