读DehazeNet: An End-to-End System for Single Image Haze Removal

学习目标：

• DehazeNet: An End-to-End System for Single Image Haze Removal

---

学习内容：

• 掌握该篇论文
• 看懂该论文代码
• 搭建tensorflow环境

---

内容解读：

1. 摘要：

本文运用深度学习，建立了一个端对端的去雾系统DehazeNet进行介质传输图的估计，然后通过大气散射模型得到去雾的图像。DehazeNet以单个有雾图像为输入、介质传输图为输出。其网络层设计来体现在图像去模糊中已建立的假设/先验，其实就是使用maxout进行特征提取。本文还提出了一种新的激活函数：双边整流线性单元（BReLU），提升无雾图像的质量。

2.本文中其他方法介绍：

1.局部对比度最大化方法：具体而言，在无雾图像的局部对比度远高于有雾图像的假设下，会产生过度饱和的图像
2.基于最小输入的独立分量分析（ICA）：该方法耗时且不能用于处理密集雾度图像
3.暗通道先验（DCP）：它表明至少一个颜色通道在大多数非雾图像中具有一些强度非常低的像素，使用暗通道先验，通过大气散射模型估计和估计去除雾的厚度
4.软抠图不清楚

3.DehazeNet：

1.概要
一种可训练的基于 CNN 的端到端系统，用于介质传输估计。 DehazeNet 将有雾图像作为输入，并输出其介质传输图，随后通过简单的逐像素操作恢复无雾图像。 DehazeNet 的设计借鉴了图像去雾中已建立的假设/原理的思想，而其所有层的参数可以从训练有雾的图像中自动学习。

1. DehazeNet 是一个端到端的系统。 它直接学习和估计模糊图像块与其介质传输之间的映射关系。 这是通过对其深层架构的特殊设计来实现的，以体现既定的图像去雾原理。
2. 我们在 DehazeNet 中提出了一种新颖的非线性激活函数，称为双边整流线性单元 (BReLU)。 BReLU 扩展了 Rectified Linear Unit (ReLU) 并证明了它在获得准确的图像恢复方面的重要性。 从技术上讲，BReLU 使用双边约束来减少搜索空间并提高收敛性。
3. 我们在 DehazeNet 的组件与现有去雾方法中使用的那些假设/先验之间建立了联系，并解释了 DehazeNet 通过从端到端自动学习所有这些组件来改进这些方法。

2.内容
提出的 DehazeNet 由级联卷积层和池化层组成，在其中一些层之后使用适当的非线性激活函数。 图 2显示了 DehazeNet 的架构。 DehazeNet 的层和非线性激活旨在实现介质传输估计的四个顺序操作，即特征提取、多尺度映射、局部极值和非线性回归。

1. 特征提取
   密集提取与雾相关的特征相当于将输入图像与适当的滤波器进行卷积，然后进行非线性映射。受这些雾霾相关特征颜色通道极值处理的启发，选择了Maxout激活函数作为降维的非线性映射，Maxout 单元是用于多层感知器或 CNN 的简单前馈非线性激活函数。 在 CNN 中使用时，它通过对 k 个仿射特征图进行逐像素最大化操作来生成新的特征图。F1 中的激活单元是非线性降维，以近似传统的雾度相关特征提取。 在图像处理领域，低维映射是发现主要属性和减少模式噪声的核心过程。
2. 多尺度映射
   采用3组不同尺度（3×3，5×5，7×7）的滤波器实现DehazeNet的尺度鲁棒性
   （图像鲁棒性是指图像在经历了各种信号处理或者各种攻击后，依然具有一定的保真度）
3. 局部极致
   局部极值约束了透射率的局部一致性，可以有效抑制透射率的估计噪声。几乎所有的雾度估计模型都倾向于将白色场景对象视为距离较远，从而导致对介质传输的估计不准确。 基于场景深度是局部恒定的假设，局部极值滤波器通常用于克服这个问题
4. 非线性回归
   大气透射率是一个概率（0到1），不可能无穷大，也不可能无穷小。受到Sigmoid和ReLU激励函数的启发，提出双边纠正线性单元（Bilateral Rectified Linear Unit，BReLU），在双边约束的同时，保证局部的线性。输出的是一个标量，即输入块中心点的透射率值。当传输 t (x) 接近于零时，直接衰减项 J (x)t (x) 可以非常接近于零。 直接恢复的场景辐射度 J (x) 容易出现噪声。 在 DehazeNet 中，我们提出 BReLU 来限制 tmin 和 tmax 之间的传输值，从而缓解噪声问题

4.与传统去雾方法的联系：

当W1是反向（Opposite）滤波器,通道的最大等价于通道的最小值，等价于暗通道先验（DCP）；当W1是环形（Round）滤波器, 等价于对比度提取，等价于最大对比度（MC）；当W1同时包含反向（Opposite）滤波器和全通（All-pass）滤波器，等价于RGB到HSV颜色空间转换，等价于颜色衰减先验（CAP）。

5.数据来源：

采用基于物理雾霾形成模型的合成训练数据。基于两个假设合成有雾和无雾图像块的训练对：首先，图像内容独立于介质传输（相同的图像内容可以出现在场景的任何深度）；其次，介质传输是局部恒定的（小块中的图像像素往往具有相似的深度）。 这些假设表明我们可以假设单个图像块的任意传输。 给定一个无雾斑块 J P (x )、大气光 α 和一个随机传输 t ∈ (0, 1)，一个有雾块被合成为 IP (x)= JP (x)t +α(1−t ）。 为了减少变量学习的不确定性，大气光 α 设置为 1。

5.训练方法：

网络参数 􏰁 = {W1, W2, W4, B1, B2, B4} 是通过最小化训练块 I P (x) 和相应的地面实况介质传输 t 之间的损失函数来实现的，使用均方误差 (MSE) 作为损失函数

5.实验：

从所收集的图像中随机选取10000个无雾图像块，每块采样10个不同的透射率（0,1）之间合成10张有雾块，因此一共有10万个有雾图像块放入DehazeNet中训练。在DehazeNet中，每一层的滤波器初始权值通过从高斯分布（均值μ=0，标准差σ=0.001）中随机抽取来初始化。网络训练完成之后，得到初始透射率，再通过引导滤波进行细化，然后根据大气散射模型复原图像。