1.目前水下图像增强算法存在的问题
(1)部分算法在合成数据集上进行训练,却无法很好地迁移到真实场景中。
(2)真实的海下图像数据的背景差异较大,没有一套算法可以很好地适用于所有的海下场景中。
2.提出的方法
(1)提出的图像增强算法分为两步,如下图所示。左边是Inter域的自适应调整,右边是Intra域的自适应调整。
Inter域存在的原因是增强模型在真实域中的性能,Intra域存在的原因是增强模型对不同背景图像的性能。
(2)算法第一部分:Inter域的处理
通过损失函数来理解该模型。
总损失分为四个部分,用①②③④来表示。
‘合成图片’经过转换模型之后生成‘转换图片’,再与‘真实图片’一起放到增强模型中,分别生成‘转换增强图片’和‘真实增强图片’。
①:转换图片与真实图片进行比较后所产生的损失,采用WGAN-GP的形式计算损失。
②:转移模型的损失,通过合成图与真实图进行比较得到损失,采用不同卷积层的特征图的差异值来计算损失。
③:图像增强模型的损失
④:比较转移图像和真实图像在特征层次的差异,和①类似
(3)Intra域的处理。
首先提出了一种基于RANK的评价体系,如下图所示。
第一步,通过不同的图像增强算法对RAW图像进行增强,生成N张图片。第二步,将这些图片输入到RESNET50中进行特征提取。第三步,对得到的特征进行评分,并通过该评分优化RESNET。最终,得到了一个用于评价的特征提取网络。
再之后,提出了以下的完整算法。
对于分数低的,代表增强难度大,将输入到另一个增强模型中,并将输出作为结果。对于分数高的,代表比较背景简单,将直接输出增强结果。
3.代码及数据集
https://github.com/Underwater-Lab-SHU
目前还未公布。