Domain Adaptation for Underwater Image Enhancement

1.目前水下图像增强算法存在的问题

（1）部分算法在合成数据集上进行训练，却无法很好地迁移到真实场景中。
（2）真实的海下图像数据的背景差异较大，没有一套算法可以很好地适用于所有的海下场景中。

2.提出的方法

（1）提出的图像增强算法分为两步，如下图所示。左边是Inter域的自适应调整，右边是Intra域的自适应调整。

Inter域存在的原因是增强模型在真实域中的性能，Intra域存在的原因是增强模型对不同背景图像的性能。

（2）算法第一部分：Inter域的处理
通过损失函数来理解该模型。
总损失分为四个部分，用①②③④来表示。

‘合成图片’经过转换模型之后生成‘转换图片’，再与‘真实图片’一起放到增强模型中，分别生成‘转换增强图片’和‘真实增强图片’。

①：转换图片与真实图片进行比较后所产生的损失，采用WGAN-GP的形式计算损失。
②：转移模型的损失，通过合成图与真实图进行比较得到损失，采用不同卷积层的特征图的差异值来计算损失。
③：图像增强模型的损失
④：比较转移图像和真实图像在特征层次的差异，和①类似
（3）Intra域的处理。

首先提出了一种基于RANK的评价体系，如下图所示。

第一步，通过不同的图像增强算法对RAW图像进行增强，生成N张图片。第二步，将这些图片输入到RESNET50中进行特征提取。第三步，对得到的特征进行评分，并通过该评分优化RESNET。最终，得到了一个用于评价的特征提取网络。

再之后，提出了以下的完整算法。

对于分数低的，代表增强难度大，将输入到另一个增强模型中，并将输出作为结果。对于分数高的，代表比较背景简单，将直接输出增强结果。

3.代码及数据集

https://github.com/Underwater-Lab-SHU
目前还未公布。