图像融合论文阅读：(MFEIF)学习深度多尺度特征集成和边缘注意引导的图像融合

最新推荐文章于 2024-11-02 21:42:43 发布

图像强

最新推荐文章于 2024-11-02 21:42:43 发布

阅读量2.1k

点赞数 26

分类专栏：图像融合文章标签：论文阅读深度学习图像处理人工智能论文笔记

本文链接：https://blog.csdn.net/jiexiang5396/article/details/135116541

版权

图像融合专栏收录该内容

37 篇文章 61 订阅

订阅专栏

@article{liu2021learning,
title={Learning a deep multi-scale feature ensemble and an edge-attention guidance for image fusion},
author={Liu, Jinyuan and Fan, Xin and Jiang, Ji and Liu, Risheng and Luo, Zhongxuan},
journal={IEEE Transactions on Circuits and Systems for Video Technology},
volume={32},
number={1},
pages={105–119},
year={2021},
publisher={IEEE}
}

论文级别：SCI A2
影响因子：8.4

📖[论文下载地址]
💽[代码下载地址]

📖论文解读

作者提出了一种用于可见光-红外的图像融合网络结构，采用【从粗到细】的结构进行特征提取，该结构可以输入【未对齐】的图像对；并且设计了一个【边缘引导注意力机制】用来使融合关注共同结构，目的使为了在消除噪声的同时恢复细节；作者还发布了一个新的对齐的可见光红外图像【数据集】RealStreet

🔑关键词

Image fusion, deep feature learning, attention mechanism.
图像融合，深度特征学习，注意力机制

💭核心思想

【一句话总结】：AE+GAN
编码器使用不同的空洞卷积提取特征后相加，乘上从源图像中通过注意力机制得到的权重，在通过加入跳跃连接的解码器进行重建。

1、设计了一个密集语义扩大模块来增加感受野从而提取深层特征。（使用不同的扩张因子的空洞卷积提取特征然后聚合）

通过多尺度上下文聚合结构，将三种不同感受野的卷积路径聚合
在每个卷积路径上加入了密集连接
2、设计了一个边缘引导的注意融合规则，以保持图像结构并抑制伪影。

参考链接
[什么是图像融合？（一看就通，通俗易懂）]

🪢网络结构

作者提出的网络结构如下图所示。
在这里插入图片描述

🪢粗到细的特征提取

先通过一次卷积将源图像变成特征图，然后通过3个不同的卷积路径提取特征并聚合。同时在每个路径上加入了密集连接。
在这里插入图片描述
$f_{in}$ 和 $f_{out}^e$ 分别代表特征提取模块的输入特征图和输出特征图。 *是卷积操作， $tp$ 为路径序号，W和b分别代表卷积层卷积权重和偏置。
作者使用 $f_{ir}^e$ 和 $f_{vis}^e$ 分别代表红外图像和可见光图像的输出特征。

🪢边缘引导注意力特征融合

作者提出的边缘引导注意力特征融合如下图所示。
在这里插入图片描述
边缘图由2步得到：
输入m×n的灰度图用 $u$ 表示，定义梯度图为：

在上式中， $\nabla ^ h_iu=u_i-u_{a(i)}$ $\nabla ^v_iu=u_i-u_{b(i)}$ 分别为计算水平和垂直一阶差分的线性算子。 $u_{a(i)}$ 和 $u_{b(i)}$ 分别为位于源像素i右侧和下方最近的像素。
此外作者还设计了边缘增强算子 $S$ 来凸显梯度信息：
在这里插入图片描述
其中， $I ={1，…， m−1}$ ； $J ={1，…， n−1}$ 。i和j分别代表梯度图像的水平和垂直方向。
随后，将红外图像和可见光图像增强后的边缘图输入注意力机制，生成特征权重图 $W_{ir}$ 和 $W_{vis}$ ，并通过梯度引导注意力计算出融合特征 $f^a_{out}$ ：
在这里插入图片描述
最终的融合图像由训练好的解码器从融合特征 $f^a_{out}$ 来重构。