Physics-based Feature Dehazing Networks（基于物理模型的图像去雾ECCV2020）

摘要：提出了一种基于物理的特征去雾网络用于图像去雾。与现有的端到端可训练网络化去雾方法相比，我们在网络设计中明确地考虑了霾过程的物理模型，并在深度特征空间中去除了霾。我们提出了一种有效的特征去雾单元（FDU），将其应用于深层特征空间，以探索基于物理模型的图像去叠的有用特征。FDU嵌入到编码器和解码器体系结构中，具有残差学习功能，因此所提出的网络可以以端到端的方式进行训练，并有效地帮助去除雾霾。编码和解码模块分别用于特征提取和清晰图像重建。残差学习用于提高深度神经网络的精度和简化训练。我们分析了所提出的网络的有效性，并证明了它可以有效地对图像进行去噪，与最先进的方法相比具有良好的性能。

开发了一种有效的特征去雾单元（FDU），它能够有效地利用特征空间中雾度过程的物理模型来更好地进行图像去雾。然后将所提出的FDU嵌入到具有残差学习的编解码器结构中。图1显示了拟议的基于物理的特征去杂网络（PFDN）的网络架构。下面，我们将介绍PFDN中每个组件的详细信息。

1.网络结构

提出的FDU是由霾过程的物理模型驱动的。我们注意到，清晰图像J可以通过以下方式获得：

 让k表示一个特征提取器，例如，深度CNN中的过滤器内核。通过将k应用于（2），我们可以得到

⊗ 表示卷积算子和.表示按元素的产品操作。通过使用矩阵向量形式进行一些代数运算，我们可以得到 

其中K，J，I和At表示K，J，I和A（1-1/t）的矩阵向量形式）；Td表示对角矩阵，其中第i个对角元素对应于向量形式为1/t的第i个元素。因为我们可以将矩阵KTd分解为两个矩阵F1F2的乘积，（4）可以重写为其中F2可以被视为特征提取操作。方程（5）表示特征空间中清晰图像和模糊图像之间的关系，并基于（4），假设k是线性算子。请注意，具有分段线性激活函数（如ReLU）的深度CNN本质上是局部线性的。由于深度神经网络具有很强的表示能力，我们提出了一种特征去雾单元，并采用深度CNN来逼近F1和KAt对应的特征。因此，对于清晰的图像重建，可以更好地估计出有区别的有用特征。 

图1

图1提出了图像去雾的网络结构。（c）中的全图像去雾网络PFDN基于（a）中提出的PFDBs的编码器和解码器架构。该PFDB由一个具有残差学习结构的FDU组成，该FDU可以充分利用特征空间中的物理模型来实现更好的图像去噪。

为此，（b）的FDU由两部分组成。第一部分用于学习主要近似于与雾霾形成相关的关键成分F1和KAt的特征。第二部分基于（5）估计清晰图像重建的特征KJ。由于透射贴图T与场景深度相关，且具有分段常数特性，且通常假设大气光是均匀的，因此我们使用全局平均池（GAP）来移除特征空间中的冗余信息，并在对应于F1和KAt的近似特征中保留有用值。具体来说，让Y={yi}Ni=1表示FDU的输入，FDU具有大小为h×w像素的N个特征。我们首先将间隙应用于Y，得到Yp={Yp i}Ni=1，其中每个元素都被定义为：

其中q表示像素位置。然后，受编码器和解码器网络架构在特征探索方面取得成功的推动，我们将类似的下采样和上采样操作应用于Yp中的特征 

其中CN表示滤波器核大小为1×1像素的卷积运算和N个滤波器；R表示ReLU激活功能。在~Y中，我们进一步使用特征上采样操作C2N和Sigmoid函数来获得中间特征。我们分别使用前N个特征（~t）和剩余N个特征（~A）的复制来近似对应于F1和KAt的特征。请注意，通过提取并保留GAP中最有用的信息，et和eA的特征是特定于通道的。因此，我们通过以下方式生成FDU的输出 

基于（8），我们可以区分地从Y中学习可靠的特征~J，以获得清晰的图像重建。图1（b）显示了FDU的网络架构

在PFDB中使用它来提高图像去噪的准确性，并简化深层神经网络的训练。具体地说，每个PFDB有两个卷积层，滤波器内核大小为3×3像素，其中第一个卷积层后接ReLU作为激活函数，第二个卷积层后接FDU。残差学习和PFDB的详细网络架构如图1（a）所示。

由于所提出的PFDB是在特征空间中执行的，因此我们将其嵌入到编码器和解码器网络结构中以解决图像去雾问题。编码模块用于从模糊图像中提取有用的特征，模糊图像包含三个尺度卷积块。每个卷积块都有一个卷积层和一个ReLU层。第一个卷积层的步幅值为1，其余两个卷积层的步幅值为2。解码模块用于进一步处理PFDB的输出，并重建最终的清晰图像。它由两个转置卷积块和一个卷积块组成。每个转置卷积块都有一个转置卷积层和一个ReLU层。最后一个卷积层的步长值为1。对于卷积层和转置卷积层中的参数，我们使用与相同的设置。PFDN的网络架构如图1（c）所示。

实验结果

数据集：NYU2数据集、RESIDE数据集

 2.结论

我们提出了一种有效的图像去雾PFDN。关键组件PFDB由一个具有剩余学习架构的FDU组成。开发FDU是为了充分探索基于雾度过程物理模型的图像去雾的有用特征。将残差学习结构应用于FDU，以提高精度并简化深层神经网络的训练。提出的PFDB以端到端的方式作为主干嵌入到编码器和解码器网络架构中，用于图像去雾。我们分析了所提出的PFDN对图像去雾的影响。定量和定性结果均表明，该方法优于现有方法。