【图像增强】U-shape Transformerfor Underwater Image Enhancement

前言

Abstract-摘要

一、Introduction-引言

二、Relative Work-相关工作

2.1相关工作分析

2.2本文贡献

三、Method-方法​编辑

3.1SGFMT（空间式全局特征建模Transformer）

3.1.1整体功能

3.1.2工作流程

3.2CMSFFT（通道式多尺度特征融合Transformer）

3.2.1整体功能​编辑

3.2.2工作流程

3.3 Loss Function-损失函数

总结

---

前言

本文讲述了一种水下图像增强的U形Transformer,本文发布在arXiv、SpringerLink、IEEE Xplore 等多个平台上，本文作者为 Lintao Peng（彭林涛）、Chun Li Zhu（朱春丽）和 Liheng Bian（边丽衡）。其中，彭林涛是北京理工大学的博士生，他的研究兴趣主要集中在计算成像和传感方面，特别是基于深度学习的复杂环境成像和传感技术，同时也在研究各种新型自注意力机制和损失函数以提高成像和传感网络的性能。

文献地址：U-Shape Transformer for Underwater Image Enhancement | IEEE Journals & Magazine | IEEE Xplore

代码地址：https://github.com/LintaoPeng/U-shape_Transformer_for_Underwater_Image_Enhancement

---

Abstract-摘要

翻译

水下杂质的光吸收和散射导致水下成像质量差。现有的基于数据驱动的水下图像增强（UIE）技术缺乏包含各种水下场景和高保真参考图像的大规模数据集。此外，在不同的颜色通道和空间区域的不一致的衰减没有充分考虑到升压增强。在这项工作中，我们建立了一个大规模的水下图像（LSUI）数据集，它涵盖了更丰富的水下场景和更好的视觉质量的参考图像比现有的水下数据集。该数据集包含4279个真实水下图像组，其中每个原始图像的清晰参考图像、语义分割图和介质透射图对应配对。我们还提出了一个U形Transformer网络，其中Transformer模型首次引入UIE任务。在U型Transformer中集成了通道级多尺度特征融合Transformer（CMSFFT）模块和空间级全局特征建模Transformer（SGFMT）模块，增强了网络对衰减较严重的颜色通道和空间区域的关注。同时，为了进一步提高对比度和饱和度，结合人眼视觉原理，设计了RGB、LAB和LCH三种颜色空间的损失函数。在可用数据集上进行的大量实验验证了所报告技术的最新性能，具有超过2dB的优越性。

---

一、Introduction-引言

水下图像增强（UIE）技术对于获取水下图像和研究水下环境至关重要，但水下图像常因水中杂质的光吸收和散射而质量不佳。现有 UIE 技术存在诸多问题，本文构建了大规模水下图像（LSUI）数据集，提出了 U 形 Transformer 网络及相关方法，在水下图像增强领域取得了新的成果。

---

二、Relative Work-相关工作

2.1相关工作分析

• UIE 方法分类及问题：现有 UIE 方法分为视觉先验、物理模型和数据驱动三类。视觉先验方法通过修改像素值改善图像视觉质量，但忽略物理退化过程，在复杂水下环境效果不佳；物理模型方法基于物理成像模型假设，通过估计参数反转退化过程，但模型假设在复杂水下环境不一定合理，且评估多参数困难，未考虑人眼感知特性；数据驱动方法虽有良好性能，但现有水下数据集存在不足，且未充分考虑水下图像不同颜色通道和空间区域的不一致衰减问题。
• 水下图像数据集现状：现有数据集分为非参考数据集和全参考数据集。非参考数据集缺乏匹配的清晰参考图像，不能用于端到端训练；全参考数据集存在生成样本不真实、数量和场景有限等问题。