Domain Adaptation for Underwater Image Enhancement

1.目前水下图像增强算法存在的问题

(1)部分算法在合成数据集上进行训练,却无法很好地迁移到真实场景中。
(2)真实的海下图像数据的背景差异较大,没有一套算法可以很好地适用于所有的海下场景中。

2.提出的方法

(1)提出的图像增强算法分为两步,如下图所示。在这里插入图片描述左边是Inter域的自适应调整,右边是Intra域的自适应调整。

Inter域存在的原因是增强模型在真实域中的性能,Intra域存在的原因是增强模型对不同背景图像的性能。

(2)算法第一部分:Inter域的处理
在这里插入图片描述通过损失函数来理解该模型。
在这里插入图片描述总损失分为四个部分,用①②③④来表示。

‘合成图片’经过转换模型之后生成‘转换图片’,再与‘真实图片’一起放到增强模型中,分别生成‘转换增强图片’和‘真实增强图片’。

①:转换图片与真实图片进行比较后所产生的损失,采用WGAN-GP的形式计算损失。
在这里插入图片描述②:转移模型的损失,通过合成图与真实图进行比较得到损失,采用不同卷积层的特征图的差异值来计算损失。
在这里插入图片描述③:图像增强模型的损失
在这里插入图片描述④:比较转移图像和真实图像在特征层次的差异,和①类似
在这里插入图片描述(3)Intra域的处理。

首先提出了一种基于RANK的评价体系,如下图所示。

在这里插入图片描述第一步,通过不同的图像增强算法对RAW图像进行增强,生成N张图片。第二步,将这些图片输入到RESNET50中进行特征提取。第三步,对得到的特征进行评分,并通过该评分优化RESNET。最终,得到了一个用于评价的特征提取网络。

再之后,提出了以下的完整算法。

在这里插入图片描述对于分数低的,代表增强难度大,将输入到另一个增强模型中,并将输出作为结果。对于分数高的,代表比较背景简单,将直接输出增强结果。

3.代码及数据集

https://github.com/Underwater-Lab-SHU
目前还未公布。

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值