MEF:COA-NET

COA-NET: COLLABORATIVE ATTENTION NETWORK FOR DETAIL-REFINEMENT MULTI-EXPOSURE IMAGE FUSION

（COA-NET: 用于细节细化多曝光图像融合的协作关注网络）

近年来，多曝光图像融合 (MEF) 在计算机视觉领域引起了广泛的兴趣。之前的方法试图设计各种注意力模块，这些模块在融合过程中忽略多尺度视觉特征和信息退化，从而导致细节丢失和融合结果上的颜色失真。在本文中，我们提出了一种称为COA-NET的协作注意力网络，以端到端的方式处理MEF任务。具体而言，作为我们的骨干，多维关注模块（Multi-dimensioned attention module）学习了不同维度上的精细结构特征。此外，在COA-NET中嵌入了补偿注意模块，以实现并行特征更新并补偿退化的深度特征。通过两个模块的协作，我们的COA-NET生成了融合了精细的结构和忠实的细节。

介绍

MEF的关键问题是从曝光不足/曝光过度的图像中获取突出的特征和典型像素以强调重要区域。传统的手动设计MEF方法在忽略通道特征的同时，努力处理像素级色彩优化，从而导致关键信息丢失，例如伪影或色彩失真。近年来，卷积中立网络 (CNN) 已广泛应用于处理MEF任务。例如，DeepFuse ，DenseFuse 在解决照明和颜色偏差方面取得了突破，并提供了最先进的性能。开发注意力引导网络还可以优化培训效率，因为它更多地关注典型特征并简化了网络结构。SENet 是一个使用MEF的通道注意力的微小且快速的注意力模块，但是它会丢失一些空间信息。BAM 和CBAM 增加了空间关注，以使特征积累更丰富，但它们缺乏长期依赖和特征水平。

综上，我们提出了一个协作关注网络，用于HDR成像的细节细化多曝光图像融合 (COA-NET)。它使用具有各种维度的卷积内核的、倍增的分层注意机制来积累更多的通道信息。我们还添加了一个互补注意模块来丰富空间特征，这样它就可以在融合结果和地面真相之间取得令人钦佩的高度相似性。图1给出了典型的融合结果。

贡献：
• 建立了一个有效的注意力引导深度网络，以突出地优化MEF任务，主要模块获取输入图像的主要特征并补偿模块累积微小空间信息。
• 我们的COA-NET关注通道的长期依赖性，并丰富像素和颜色信息，以减少晕，出乎意料的阴影，并且比以前的试验提供了更多的视觉友好性能。
• 我们扩展了获取多维通道功能的想法，这些功能保留了更多感兴趣的视觉信息并提供了出色的设备。

方法

整体框架图：

Multi-dimensioned attention module

在多维注意模块 (MAM) 中，我们构建了基于SE块的多特征提取结构，以探索更长距离的依赖关系和通道之间的复杂关系。输入图像经过三个不同的卷积层，内核大小为3x3、5x5和7x7。然后将它们发送到轻型模块SE块。SE块提出了挤压和激励操作，以显式构造通道的依赖性。将单独的池化层放置在卷积块的同一级别。这里放大了特征图的感受域，以捕捉微小的细节。在其上采样操作之后，所有四个特征部分都被组合成一个具有丰富多样信息的128通道特征图。在生成的HDR图像中避免了由于颜色偏差引起的照明失真 。

Compensate attention module

目前，网络能够取得令人满意的结果，空间特征被认为是至关重要的方面，以便专注于实际信息部分并促进更高水平的完整性。补偿注意模块 (CAM) 的通道池为输入图像的每个像素生成唯一的特征权重图。然后应用地图来加强感兴趣的眼部区域。

Fusion Process

给定曝光不足/曝光过度的3通道LDR图像I1，I2，主要是它们通过MAM产生未处理的注意力图。然后确定卷积层和重新层以进一步处理注意力图。则满足的融合结果可以计算如下:

Loss Functions

我们以分层的方式使用三种损失函数来减少形状为C ∗ H ∗ W的融合结果与地面真相之间的损失，并优化我们的网络。

根据理论，感知损失衡量图像之间的高级感知和语义差异。它将通过对地面真相的卷积获得的特征与通过对生成的图像进行卷积获得的特征进行比较，以使内容和全局结构接近。其中 φ j(x) 表示第j层的损失网络 φ 的激活，特征重建损失如下:

最后，我们设计以下表达式以平衡训练速度和融合视觉效果。
l = 0.05 * lper+ 0.95 * lMSE三个损失函数的对比实验结果将在实验部分给出。

FCAN相关