【论文笔记】SGUIE-Net

论文：SGUIE-Net: Semantic Attention Guided Underwater Image Enhancement With Multi-Scale Perception

代码:  https://trentqq.github.io/SGUIE-Net.html
作者：Qi Qi ,  Kunqian Li , Haiyong Zheng , Xiang Gao, Guojia Hou ,  Kun Sun 
年份：2022
期刊：IEEE TRANSACTIONS ON IMAGE PROCESSING

目录

1.摘要

2.想法的提出

3.网络结构

3.1.语义区域增强模块（SRM）

3.2.语义注意引导提取与融合模块（SGF）

3.3.级联注意感知增强模块（CAM）

4.损失函数

5.不足和前景

---

1.摘要

由于波长相关的光的衰减、折射和散射，水下图像通常会产生颜色失真和细节模糊。然而，由于以未失真图像为参考的成对水下图像数量有限，训练不同退化类型的深度增强模型相当困难。为了提高数据驱动方法的性能，必须建立更有效的学习机制，从有限的训练样本资源中挖掘更丰富的监督信息。在本文中，我们提出了一种新的水下图像增强网络SGUIENet，该网络通过区域增强特征学习引入语义信息作为高级指导。因此，我们提出了语义区域增强模块，以更好地学习具有多尺度感知的语义区域的局部增强特征。融合后的特征作为补充特征，再传递给主分支，主分支在原始图像尺度上提取全局增强特征，在语义上保持一致，在视觉上具有更好的增强效果。在公开可用的数据集和我们提出的数据集上的大量实验证明了SGUIE-Net令人印象深刻的性能。

2.想法的提出

水下图像数据集少，合成的水下图像缺少真实的逼真度和场景多样化、人工选择的增强参考带有视觉偏好，所以选择建立更有效的学习机制在有限的数据集训练增强网络、语义图描绘语义区域的边界可以作为图像之间的高级关联

3.网络结构

 

 

3.1.语义区域增强模块（SRM）

输入：手动执行掩码标注or SUIM-Net（语义分割模型）预训练模型生成的掩膜图像划分为语义区域， 一组包含不同语义区域的子图像的集合

作用：提取具有语义注意的局部多尺度增强特征（局部增强特征学习）

3.2.语义注意引导提取与融合模块（SGF）

输入：主分支的中间全局增强残差特征、SRM提取的区域增强残差特征、对应的语义分割图

作用：将语义感知的局部特征融合到原始分辨率的全局特征中

3.3.级联注意感知增强模块（CAM）

输入：加入局部语义的多尺度增强特征后的主分支信息

作用：解决解码器编码器丢失像素方面空间细节特征问题，为不均匀退化提供差分增强，并保持纹理

细节：在原始图像分辨率下感知图像特征，无上下采样，卷积核：3，padding：1

长跳连接：解决网络过深导致的训练困难问题

4.损失函数

L = Lmain + Lsrm

 

主体是L2损失函数

其中E：增强后的图，Eref：参考图，Ek：相应语义区域从SRM增强后分割图，Ek.ref:对应语义区域参考图

5.不足和前景

（1）不足：所有图像增强方法的共同困境--恢复更多细节的同时也引入了更多的噪声或者一些参考图像中含有被放大的噪声

（2）前景：增加噪声抑制模块、探索语义注意在transformer框架的应用