【ACMMM2022】Structure-Inferred Bi-level Model for Underwater Image Enhancement
代码:https://github.com/IntegralCoCo/SIBM (暂未开源)
该论文提出了一个 Structural-Inferred Bi-level Model (SIBM) 用于水下图像增强,集成了三种模态的知识:semantic domain, gradient domain, pixel domain. (非常奇怪,不清楚为什么题目要叫做 bi-level)
该方法框架如上图所示,包括三个分支:
- Semantic-based Foreground Branch (SFB):这个分支主要学习目标区域,输入为 Multi-scale attention block,这个模块后面会介绍。比较好奇的是目标区域的mask是如何得到的,论文中用 λ 2 \lambda_2 λ2表示 ,说是超参数
- Underwater Pixel Branch (UPB):这部分是一个比较典型的UNET结构,使用比较常见的L2损失和SSIM损失来优化。
- Gradient-based High-frequency Branch (GHB):这部分是梯度优化,增强图像中的梯度信息,在图像增强里也比较常见。
Multi-scale Attention Block如下图所示,可以看出 attention 部分与 SENet 非常类似。不过,架构图中该模块应该是有三个输出,但这个模块图中只有一个输出,应该是作者不小心漏画了。
作者在合成和真实数据集上进行了实验,取得了非常好的效果。消融实验中,作者分析了三个分支的有效性,损失函数的有效性,尺度、边缘算子的有效性。其它的部分可以参考作者论文,这里不再多说。