＜论文阅读＞Single Image Reflection Removal through Cascaded Refinement,CVPR 2020

Code and model: https://github.com/JHL-HUST/IBCLN/.
1.文章做了啥
解决了从通过玻璃表面捕获的单个图像中消除不良反射的问题，这对于照片增强来说是一个不适定的、具有挑战性但实际上很重要的问题。受社交网络中隐藏社区检测的迭代结构约简的启发，我们提出了一种迭代增强卷积LSTM网络(IBCLN)，该网络能够级联预测以消除反射。
2.动机
论文动机来自于Hidden Community Detection in Social Networks
上图是一个人群社交网络，假设知道其中节点之间的权重边，这样就能找到存在着主要社交网络Team1、Team2、Team3，但其中比如Team1中存在三个人和Team2的三个人还存在着一个隐藏关系Tennis group。
通过不断削弱显性社区的内部连接权重，就能发现隐性社区。
在本文中，作者将反射图R看作隐形社区、透射图T看作显性社区。通过上述思想，先把T得到，然后削弱T，得到R；得到R后，削弱R，得到T。不停反复迭代，直到T和R都收敛，最后可以得到比较好的结果。
3.网路结构

输入：T（最开始初始化为I）、I、R（最开始初始化为全0的图）
中间部分分为上下两个网络GT、GR这里可以理解为两个生成网络，GT生成一轮迭代后的T图，GR生成一轮迭代后的R图，两者结合生成一轮迭代后的I图，三张图为一轮迭代的输出，将T、R分别替代输入的T、R后开始新一轮迭代，直至收敛
网络模型中包含的两个子网络，这两个子网络的结构相似，目的不同，所以各自学习的权重参数也不同。通过减少原始图像一侧的输出作为另一侧互补的有效辅助信息来协作和提高彼此的输出，两个子网络之间的协同作用使他们的预测相互促进，进而辅助信息不断改进，并最终对传播进行准确的估计。为防止输出模糊，子网络中的编码其和解码器之间有两个跳跃连接，卷积层和跳跃连接类似于上下文自动编码器。

Convlstm沟通的是不同迭代轮次的中间层（表示可以传递当前时刻的处理信息给下一刻使用）
图3从不同的角度说明了IBCLN。此图中显示的所有几何图形都是完全相同的网络，具有相同的参数，但在级联中的不同时间步长。我们将相邻时间步长的几何级数与卷积LSTM单元相连接，从而保存前一时间步长的信息。在实际模型中，卷积LSTM单元位于子网的中间，并与卷积层相连。卷积LSTM单元有四个门，包括一个输入门、一个遗忘门、一个输出门以及一个单元状态。小区状态编码将被馈送到下一个LSTM的状态信息。LSTM的输出特征被馈送到下一个卷积层。更多细节可在ConvLSTM [20]中找到。在时间步长t，两个子网络都采用九个输入通道，具体地说是合成图像1、预测的透射TT 1和在时间步长t 1(1 < t≤N)预测的残留反射Rt 1的连接。t0i设置为合成图像I，r0i设置为所有条目的0.1。传输预测网络GTat在最终时间步长N的输出作为最终结果。

4.损失函数
（1）Residual Reconstruction Loss（剩余重构损失）
目的：确保透射子网络和反射子网络产生互补的输出，用于估计生成的透射图和反射图的合成图和输入图之间的差异。.
论文中由透射图和反射图组成合成图的方式为


（2）Multi-scale Perceptual Loss（多尺度感知损失）
多尺度损失从不同的解码器层提取特征，并将它们馈送到卷积层，以形成不同分辨率的输出。然后通过最小均方误差将输出与真实图像的输出进行比较。通过在我们的任务中采用这种损失，我们可以从不同的尺度上捕捉更多的上下文信息。我们在不同的尺度上改变预测图像和真实图像之间的感知距离。因此，这种损失考虑了低级和高级信息的不同尺度。我们将损失函数定义为:

（3）像素损失
确保输出的生成图近似于Ground Truth

（4）对抗损失
为了提高生成的传输层的真实性，增加了对抗损失，定义了一个鉴别器网络

5.实验



6.结论
我们提出了一个迭代增强卷积LSTM网络(IBCLN)，可以有效地消除反射从一个单一的图像在级联的方式。为了形成一个有效的级联网络，我们建议在每一步迭代地改进透射层和反射层，使它们能够提高彼此的预测质量，并采用LSTM来促进在多个级联步骤上的训练。直觉告诉我们，对互补剩余反射的更好估计可以提高对透射的预测，反之亦然。此外，我们在每个级联步骤中加入一个剩余重建损失作为进一步的训练指导。此外，我们将多尺度损失与感知损失相结合，形成多尺度感知损失。对五个数据集(包括我们的数据集)的定量和定性评估表明，所提出的IBCLN在具有挑战性的单幅图像反射去除问题上优于最先进的方法。在未来的工作中，我们将尝试我们的级联预测细化方法在其他图像层分解任务，如雨滴去除，耀斑去除和去雾。