【论文阅读】COLOR TRANSFER FOR UNDERWATER DEHAZING AND DEPTH ESTIMATION

论文：COLOR TRANSFER FOR UNDERWATER DEHAZING AND DEPTH ESTIMATION
作者：Codruta O. Ancuti
年份：2017年
期刊：IEEE International Conference on Image Processing (ICIP)

介绍

本文是第一篇将color transfer用在水下除雾和深度估计的论文。
本文将有雾输入的颜色统计信息与参考图像的颜色统计对齐，参考图像也可以在水下捕获，但水衰减可忽略不计（使用在良好照明条件下拍摄的水下图像可获得最佳结果，此时水衰减会降低，参考图像应优先选择水衰减减少的在水下拍摄的图像，增强效果更自然）
（1）将参考图像的原始信息与输入图像的显着区域和边缘专有细节混合在一起，有助于减少输出图像中的伪像级别，保留通过应用标准color transfer过程可能丢失的输入细节。color transfer旨在促进显着区域的保存，以及通过从输入中减去保留边缘的平滑版本本身而获得的细节。
（2）通过反转McGlamery 的简化的水下图像形成模型的常规简化版本来恢复color transfer的图像。通过在color transfer的图像上使用暗通道先验，可以准确估算透射率和反向散射光。

用color transfer进行水下去雾

许多现有的水下图像恢复技术都采用McGlamery 图像形成模型。 简化的水下光学模型表示为：

参考图像转移的颜色:具有适当的，弱衰减的彩色光谱的特征。

I:到达成像传感器的场景的总辐射度
J（x）:每个图像坐标x处的场景的辐射度
d:观察者与场景之间的距离
η:衰减系数
指数项e-ηd（x）=透射率t（x），B∞是颜色矢量，称为反向散射光。
为了恢复J（x），本文估计两个未知数：后向散射光B∞，与水下场景的深度图有关的透射率t（x）。
（公式1无法捕获水下环境中颜色的非均匀衰减。因此需对水下图像进行预处理以减轻这种与颜色有关的衰减，使模型适用于水下场景）
由于水下介质会严重损失颜色信息，因此本文定义了color transfer预处理步骤，以从可用的参考水下图像中转移此丢失的信息（color transfer步骤建立在在良好的可见性条件下拍摄了许多参考图像的基础上）。
本文主要包括两个步骤：
（1）根据提出的d underwater color transfer procedure增强水下图像的颜色。
（2）暗通道先验（DCP）估计t（x）和B∞。

补充：
McGlamery 成像模型：

详解：
直接照射分量是指经目标表面反射进入相机的并未被水体散射或吸收的光；
前向散射分量是目标表面反射的经水中悬浮粒子散射后进入相机的光；
后向散射分量则指的是自然光入射到水体后经悬浮粒子散射后进入相机的光。
Jaffe-McGlamery模型假设光源以球状扩散并衰减，目标反射光可以由入射光和反射函数表示。直接照射分量的估计可以在假设目标物体为理想朗伯特体的基础上采用几何光学实现。前向散射分量是目标反射光在到达相机之前发生的小角度散射产生的，它的求解可以结合直接照射分量和点扩散函数的卷积算子实现。后向散射光进入相机的角度很广，其相应的后向散射分量则是通过体积散射函数对场景和相机之间的水体所分成的小水体进行加权，然后线性叠加得到的。该模型表示相机、成像范围、光源距离和水下环境都将对获取的水下图像产生影响。在短距离成像中，相机和光源简单组合即可获取质量较好的水下图像。在距离较长的成像范围内，独立相机和光源组成的系统将获取质量更好的水下图像，但是成像距离的增加将导致后向散射效应的凸显。
参考：https://blog.csdn.net/gwplovekimi/article/details/97645245（这篇博客总结了一些水下图像增强的笔记）

A 水下成像中的color transfer

颜色转移是由两个观察结果引起的：
（1）DCP的 t 受颜色通道衰减的影响很大。
（2）即使 t 被较好地估计，场景J的恢复的辐射也可能呈现不期望的颜色伪影。这是由于无法恢复衰减信息（尤其是水下红色通道）的事实（如图2）。常见的白平衡解决方案，例如gray-world，max-RGB， shades-of-gray或greyedge ，因为它们的线性拉伸操作，会放大红色通道的颜色噪声。

color transfer问题与color constancy 和 white-balancing问题相似，因为它们都可以控制处理后图像的平均值。 但是，color transfer（在水下成像中极为重要）相对于灰色世界的优势在于它使用了颜色对立空间，因此可以从opponent channel上重建衰减的红色通道。

RGB->XYZ->LMS->对数LMS（减少数据中的skew）->lαβ（l：消色差通道，α和β：黄蓝和红绿 opponent channels）

一旦移至1αβ空间，color transfer将移动并缩放源图像的像素值，以匹配参考图像的均值和标准差。

color transfer会影响其整体平均值但是会引入诸如纹理效果和细节丢失之类的伪影。 因此，本文采用Reihard等人的原color transfer。

具体做法（如图3）：
（1）采用引导滤波将输入图像分为基础层和细节层。基础层包含输入的保留边缘的平滑版本，细节是通过从输入中减去基础层来计算的。color transfer仅应用于基础层。
（2）将细节层添加到color transfer过程的输出中。此步骤可确保在传输过程之后妥善保存输出详细信息。
与[color transfer between images]相比，本文调整参考图像，使其包括由salient regions和原始输入的细节引起的颜色变化。考虑输入图像I的 salience map S，该S是根据Achanta[Frequency-tuned salient region detection]算出。 细节层D，通过简单地将相加而获得自适应参考图像R（图6）= 初始参考图像Rini + 细节层 + 显着区域信息 ：

为了使增强的图像接近水下颜色，参考图像应该优选在水下拍摄的图像，但对这些图像来说水衰减减少了（图7）

B t 和后向散射估计

t 估计：

Ω（x）：以x为中心的 local patch
t（ x）接近0，并且ICT（x）≈B∞

DCP表示（后面有补充）：

后向散射估计（与何大神论文一样）：

y ∗：暗通道值高于第99.9个百分位数DC99.9的像素中最亮的像素的位置
PCQI：一种通用的盲测量，用于评估图像对比度
UCIQUE：一种专门用于水下图像评估的最新度量（度量越大，质量越好）

结果

公式推导

补充内容：
本文公式参考了DCP的公式变形，简单的做一下推导，方便下次查阅：
1.

2.

3.

4.


5.

6.