WaterGAN论文笔记

论文题目：WaterGAN: Unsupervised Generative Network to Enable Real-Time Color Correction of Monocular

发表期刊：IEEE ROBOTICS AND AUTOMA TION LETTERS

作者：Jie Li, Katherine A. Skinner, Ryan M. Eustice, and Matthew Johnson-Roberson

1、目的

利用生成对抗网络从空气中的图和深度图生成人工合成的水下图像数据集。并使用生成发数据集进行训练，再使用校正网络对未标定的真实水下图像进行恢复。

2、背景

深度学习在处理水下图像方面有着巨大优势，但是需要大量的训练数据，这在复杂的海洋环境中是很难做到的，因此利用本文提出的方法生成人工合成的大量水下图像数据集。
在水下图像中（1）光的衰减程度在不同波长的情况下是不相同的，其中红色波段衰减最快，原始水下图像会显得较蓝或较绿
（2）同时在水下，光会因散射效应回加给图像采集的传感器，导致场景中的雾霾效应
（3）相机的参数及镜头到水下观测目标的距离会对图像有影响

3、方法

网络整体结构包括生成训练和测试：

Watergan网络结构：

辨别器的网络结构采用DCGAN中的网络。
对抗生成网络公式：
生成器最大化：

辨别器最大化下列公式：

3.1考虑不同波长光的衰减

η是不同波长衰减系数，r是相机到场景的距离

3.2散射

产生的雾霾效应用如下公式建模

并将产生的噪声层加到第一阶段产生的G1图像上

3.3考虑相机模型对水下图像产生的影响

将相机产生的渐晕模型取倒数得到mask层M3再加到G2阶段的图像，最后乘以系数k得到人工生成的水下图像

4、结果

用MHL数据集进行测试，分别看直方图均衡化，灰度世界归一化， Modified Jaffe-McGlamery等方法修正的结果。
用颜色准确性和颜色一致性两个指标进行对比 color accuracy and color consis-tency

5、讨论

本文中将图像生成网络和颜色校正网络分开训练，考虑下一步将两个网络联合训练，会是一个更elegant approach。