摘要:
(DCPDN),它可以共同学习传输图,大气光和除雾。通过将大气散射模型直接嵌入网络中来实现端到端学习,从而确保所提出的方法严格遵循用于去雾的物理驱动散射模型。
受密集网络可以最大化来自不同层次的特征的信息流的启发,我们提出了一种新的边缘保持密集连接的编码器 - 解码器结构,其具有多级金字塔池化模块,用于估计传输图。
该网络使用新引入的边缘保留损失函数进行优化。
为了进一步将估计的传输图和去雾结果之间的相互结构信息结合起来,我们提出了一种基于生成对抗网络框架的联合鉴别器,以确定相应的去雾图像和估计的传输图是真实的还是假的。
通过在传输图和去雾图层面上进行对比试验评估,证明了每个模块有效性。
提出的模型同时优化A,t,和去雾图像。
为了加速收敛和简化训练,利用阶段式学习技术,首先逐步优化网络的每个部分,然后联合优化整个网络。
为了保证传输图的边缘锐利和避免光环效应,设计了边缘保持损失函数。
设计了带有多级池化模块的密集链接编解码网络,利用多层特征去评估传输图。
为了利用传输图和去雾图像之间的结构关系,提出了一种基于联合鉴别器的生成对抗网络(GAN)。判断传输图和去雾图是否匹配。
采用U-Net来评估同质大气光图。
创新点
-
联合训练三个要素
-
边缘保持的金字塔密集链接编解码网络,并且使用边缘保持损失函数
-
GAN去评估一致性
-
增加了在生成数据集和真实数据集上的测试。对比了多种算法。并且对不同的模块进行了对照试验。
联合判别器学习
Gt(I) Gd(I)分别是传输图t^ 和去雾结果J^。真值t,J.
用下式来优化:
边缘保存损失LE
L2损失会带来光环模糊。
基于以下观察:
(1).边缘对应于图像强度的不连续性,因此它可以通过图像梯度来表征。
(2)通过浅层卷积能提取到边缘轮廓等低层次特征
梯度损失在深度估计的应用和知觉损失在低层次视觉任务中的应用,提出三部分组合的损失函数:
Hx Hy是梯度算子,意思是生成的和传输图真值的梯度(边缘)尽可能保持一致。
提取VGG16第一层relu1和第二层relu2的输出作为边缘提取器。
总损失
Lt是边缘损失LE,负责传输图
La负责大气光A
Ld负责去雾图像损失
Lj负责联合判别器损失
是GAN的损失样式
阶段学习
首先只训练一个网络,固定其他,得到初始值。
随后对整个网络三个同时微调。
(存在疑问:是每个网络单独训练的时候都带着GAN训练吗,还是最后再加上GAN,这个作者没说,再认真翻代码吧)
对照实验
设计了五个对照试验,说明设计结构(主要针对的是传输图网络设计和增加GAN判别器的效果,并没有分析U-Net预测A(z),网络有改进的可能)的有效性
SSIM
之前方法对比
之前论文中使用的图片
网上的