问题:如何以无监督和零拍的方式去除给定图像中的雾
贡献:我们提出了一种基于层分离思想的新方法,将模糊图像视为几个“简单”层的纠缠,即无模糊图像层、透射率图层和大气光层。
1)提出的ZID以无监督而非有监督的方式工作。换句话说,我们的方法不需要hazyclean对图像,这避免了图像采集的大量劳动。虽然我们使用了一个提示来训练我们模型的一个子网络,但它是从模糊的图像中估计出来的,不需要地面真相;2) ZID是一种“零射击”方法。换句话说,我们的方法不需要在现有模型这样的数据集上进行训练。相反,它只利用观察到的单一模糊图像中包含的信息。值得注意的是,本文中“零炮”的定义不同于分类场景中使用的传统零炮学习。简言之,一般的零拍学习通常是指在数据集上训练模型,然后使用该模型预测看不见的类别,而我们的零拍设置只指使用观察到的单个图像,不需要额外的数据集。这两个差异使我们的方法避免了劳动密集型数据收集和使用合成模糊图像处理真实世界图像的域转移问题。
我们的方法利用了暗通道的特性,将其最小化为JNet的损失。第二,观察和工作机制完全不同。根据倾角的性质,双倾角采用了三个类似于倾角的U形网状网络。二次探空将三个随机噪声作为输入输入输入到网络中,以匹配干净的图像、传输图和全球航灯。而ZID是基于层解纠缠的思想,并假设霾是一种特殊类型的与内容无关的噪声。基于这些假设,我们的方法采用了一个变分模块,将模糊图像直接送入三个子网络,以分离不同的层。
损失函数:
LRec是输入模糊图像x和重建模糊图像I(x)之间的重建损失,LA是估计大气光的损失,LJ是基于统计的估计无模糊图像的损失,LReg是子网络输出的正则化项。
由于全球大气光与图像内容无关,因此假设图像内容是从高斯分布中潜在采样的。因此,为了实现我们的A-Net,我们采用了一种变分自动编码器[36]结构。为了学习潜在的高斯模型,中间块将通过最小化等式(6),即z,将编码器的输出(即z)转换为高斯分布的平均值(μz)和方差(σ2z)→ {μz,σ2z}。借助于重参数化技巧,我们通过对高斯分布进行重采样获得了潜在代码的重构,即N(μz,σ2z)→ ˆz。之后,将ˆz馈入解码器,通过最小化等式(5)获得解纠缠大气光fa(x)。
LK L是Kullback-Leibler散度,它加强了潜变量z∈ [μz,σ2z]符合正态高斯分布N(0,I)。要享受使用标准随机梯度方法进行端到端优化,