CRRN与CoRRN的区别

CRRN

《CRRN: Multi-scale Guided Concurrent Reflection Removal Network》

它由两个协作子网组成：用于估计背景梯度的梯度推断网络（GiN）和用于估计背景层和反射层的图像推断网络（IiN）。本文将梯度推断和图像推断结合到一个统一的机制中，以同时执行这两部分。
IiN的上采样阶段受到具有相同分辨率的GiN的关联梯度特征的严格指导。 IiN由两个特征提取层组成，以提取与背景相关的尺度不变特征。IiN最终输出估计的背景和反射图像，而GiN输出的是估计的背景梯度。
（为了允许多个估计任务相互利用信息 ，IiN与GiN共享卷积层。）
对于梯度推断网络（GiN）：
将混合图像及其对应的梯度作为4通道张量提供给GiN，它从多个尺度提取图像梯度信息来估计∇B，并指导整个图像重建过程。
GiN旨在学习从I到∇B的映射。它的结构是具有编码器-解码器CNN架构的镜像链接框架。编码器部分每个步长为1的层后面都是步长为2的层，由步长等于1的五个卷积层和步长等于2的五个卷积层组成，可以逐步提取和下采样特征。 在解码器部分，对特征进行上采样并组合起来以重建输出梯度，而不会产生反射干扰。为了保留清晰的细节并避免丢失梯度信息，编码器以相同的空间分辨率链接到其相应的解码器层。
对于图像推断网络（IiN）：
包含反射的混合图像提供给IiN，并提取描述整体结构和高级语义信息的背景特征表示，以估计B和R。
IiN是基于VGG16网络构建的多任务学习网络。VGG16模型包含13个3×3卷积层，3个全连接层和5个最大池层（MP）。为了使预训练的VGG16模型更能解决本文的问题，我们首先用3×3卷积层替换VGG16模型中的全连接层，（然后对其进行微调以进行反射去除任务。）
在使用VGG16网络提取特征之后，我们设计了一个联合滤波网络来预测具有多上下文特征的B。此部分中的转置卷积层是由由三个子层组成的并行框架，
由于残差的强度范围较窄（I-B），还采用残差网络来帮助学习映射。
多尺度引导推理。
可以有效的进行图像细节提取，在这个网络中为了充分利用GiN中解码器部分的多尺度信息，GiN的每个转置卷积层的输出与IiN中的转置卷积层的输出处于同一级别。
但是在CRRN中，它们没有办法很好地寻求共同点并保留不同任务之间的差异。 另一方面，尽管CRRN引入了由多尺度梯度特征指导的框架，但初始阶段的梯度特征仍然包含反射引起的伪影，从而导致最终估计结果的残留边缘。 并且由于不知道背景和反射之间的本质联系，CRRN 难以去除局部强烈的反射。

CoRRN

《CoRRN: Cooperative Reflection Removal Network》

与CRRN中的并行模型相反，CoRRN提出了使用一个共享编码器网络的协作反射去除网络（CoRRN）。
该模型由三个子网络组成:
（1）用于提取背景信息的上下文编码网络(CencN)
（2）用于估计背景梯度的梯度解码器网络(GdecN)
（3）用于估计背景和反射的图像解码器网络(IdecN)。
从这个框架中可以看出，IdecN和GdecN共享CencN提取的特征信息。 这种特征共享策略可以提高学习效率和预测准确性。 另一方面，在IdecN和GdecN之间添加了特征增强层，以部分抑制GdecN中存在于梯度特征中的反射伪像。 最后，除了GdecN的梯度约束外，还基于梯度水平统计量为IdecN引入了新的统计损失，以更好地消除局部强反射。
输入一张带有反射和背景的混合图像，
首先是用于提取背景信息的上下文编码网络，这个网络基于VGG16模型。但是对VGG16模型做了微调。用3×3卷积层替换了VGG16模型最后阶段的全连接层，可以从较浅的层到较深的层提取了场景的全局信息，可以促进后续网络的训练。
（这个网络在较浅的层中保留反射相关的细节，在较深的卷积层中学习的滤波器倾向于捕获与背景相关的信息。）
然后是估计背景梯度的梯度解码器网络。（GdecN旨在学习从I到∇B的映射。）主要是为了估计∇B。它可以从多个尺度提取图像梯度信息，并指导整个图像重建过程。如上图，CencN的较浅层包含更多与整个图像的小细节有关的局部信息。我们使用CencN的第四层作为GdecN的输入，以充分利用图像细节来估计梯度。 在GdecN中，对CencN的特征进行上采样并组合以重建输出梯度，而不会产生反射干扰。 CencN到GdecN的这些连线，包括CencN到IdecN的连线，都时相同的分辨率的连线，为的是更好地保留清晰的细节并避免梯度消失的问题。
（GdecN成功地从反射中消除梯度，并保留属于背景的梯度。）
最后是IdecN，将来自CencN较深层的特征信息作为输入，并通过使用多上下文信息提取背景特征表示估计B和R。IdecN包含两个用于提取multi-上下文和尺度不变特征的特征提取层，以及五个转置的卷积层以逐步对特征图进行上采样。转置的卷积层具有由三个子层组成的并行框架。在最后阶段，由于残差（I-B）的强度范围较窄，并且输入混合图像和输出背景图像之间的相似度很高，因此我们采用残差网络将反射图像R视为I和B之间的差异来估计反射图像R，这增加了最终估计的稳定性。
在GdecN到IdecN之间有一个Multi-scale guided inference（多尺度引导推理）。因为在梯度域中可以更好地区分具有较大梯度值的背景像素和具有较小梯度值的反射像素。因此将这种梯度先验嵌入到IdecN之中，以提高最终解决方案的稳定性。通过将GdecN中每个转置的卷积层的输出与IdecN中转置的卷积层的输出串联在一起，将传统的单尺度梯度嵌入方案扩展为多尺度方案。（和CRRN的作用是相同的）
本文在IdecN和GdecN之间添加了内核大小为7×7的特征增强层，因为如果直接使用GdecN的特征图，则仍会显示与反射相关的明显伪像，尤其是来自GdecN初始阶段的特征图。 它可能导致最终估计结果中的残留边缘。所以增加一个特征增强层，以部分抑制GdecN中存在于梯度特征中的反射伪像。
在IdecN前面有一个Feature extraction layers A/B：直接采用CencN的最后一层作为IdecN的输入，以避免来自反射的干扰。IdecN包含两个用于提取multi-上下文和尺度不变特征的特征提取层。