【论文笔记】UICoE-Net

论文：Underwater Image Co-Enhancement With Correlation Feature Matching and Joint Learning

代码：无

作者：Qi Qi, Yongchang Zhang, Q. M. Jonathan Wu , Kunqian Li , Xin Luan, and Dalei Song

年份：2022

期刊：IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY

目录

1.摘要

2.想法的提出

3.网络结构

3.1.Siamese结构

3.2.相关特征匹配模块

3.2.1.Semantic correlation feature matching block

3.2.2.Low-lever correlation feature matching block

4.损失函数

---

1.摘要

在水下场景中，由于波长相关的光吸收和散射引起的水下图像退化给视觉任务带来了巨大的挑战。基于视觉的水下图像增强技术在海洋工程和水下机器人等领域的应用具有重要意义。在过去的几年里，许多水下图像增强算法被提出。然而，几乎所有现有的方法都只关注于独立图像的增强。考虑到同一水下场景下拍摄的图像通常具有相似的退化，相关图像可以为彼此的增强提供丰富的互补信息。在本文中，我们提出了一个基于编码器-解码器暹罗架构的水下图像协同增强网络(uico - net)。为了实现联合学习，我们在Siamese编码器-解码器结构的多层结构中引入了相关特征匹配单元，以实现两个分支之间的相互关联。利用水下图像增强基准(UIEB)、水下图像协同增强数据集(UICoD)和立体定量水下图像数据集(SQUID)进行的大量实验证明了该方法的有效性。

2.想法的提出

关注多幅图像之间的内在联系--同一水下场景下拍摄的图像具有相似退化，相关图像为彼此增强提供丰富的互补信息，协同处理策略-挖掘共享的公共信息，联合学习

3.网络结构

• 流程：总架构是孪生网络，先通过编码器下采样生成一系列特征图，其中加一个相关特征匹配模块提取两个图像在对应另一图像中具有最大相关的特征向量，通过重组和串联达到协同增强的效果,之后上采样恢复图像

3.1.Siamese结构

• 细节：两个相同网络模块，共享权重，filer：3×3， padding：1
• 输入图像：大小不限，论文使用256×256

3.2.相关特征匹配模块

• 目的：通过相关系数将两图像之间的协同特征重组和串联，即通信两个特征分支之间的相关性

处理过程（我的理解）：

3.2.1.Semantic correlation feature matching block

• 公式：
• 解读：fB上一“点”的值分别和fA上每一“点”做点积生成一个二维图，再把fB每一“点“和fA做相同操作，并以此向后排成通道，通道K =fB（w × h）

λ（i,j）=β（i,j）(k)

• λ：某一“点“处通道中最大的值（即两特征图的相关系数）
• β：λ和它对应fB中的位置相乘的结果（图一中的Sem Corre）

3.2.2.Low-lever correlation feature matching block

• 其中的I,j,m,n为语义特征图中的对应位置
• 细节：为了计算效率和有效匹配，只对语义相关性匹配的位置（上边的k对应两图片的位置）对进行相关计算，这些低层的匹配特征通过拼接加入网络

4.损失函数

• L2损失函数，E为加强后的图像，R为参考图像，N为图像的像素号

5.前景

• 为了突破效率瓶颈，打算探索更有效的关联传播策略。例如，通过使用注意模型来突出相关区域。
• 因为同一视频中的帧共享大量的一致性信息，希望将合作策略扩展到水下视频增强任务，但水下视频增强任务中的帧间一致性需要解决。为相邻或内容相关的框架在增强模型中引入合作约束可能是一个有前途的解决方案。