一种基于显著目标分割掩码的红外与可见光图像融合

最新推荐文章于 2024-04-20 21:53:46 发布

近视的眼

最新推荐文章于 2024-04-20 21:53:46 发布

阅读量255

点赞数 1

分类专栏：论文阅读文章标签： 1024程序员节

本文链接：https://blog.csdn.net/wsgaolitou/article/details/134022712

版权

论文阅读专栏收录该内容

6 篇文章 2 订阅

订阅专栏

An Infrared and Visible Image Fusion Architecture Based on Salient Object Segmentation Mask-基于显著目标分割掩码的红外与可见光图像融合

研究背景

问题

在现有的红外和可见光图像融合方法中，普遍存在两个问题。第一，当背景纹理清晰时，红外图像中的热信息很可能被遗漏，这会导致融合图像中红外信息的突出困难。第二，红外图像热目标信息的突出会带来大量的红外图像背景噪声，导致融合图像中背景不清晰，影响可见光图像纹理细节的显示。如下图所示
在这里插入图片描述

综上所述，当前大多融合方法在集成红外图像的显著性目标信息的同时会引入无意义的红外噪声信息，这导致融合图像中来自可见光图像纹理信息受到干扰，无法有效地集成不同模态图像的互补信息。

方法

为了解决这些问题，我们提出了一种新的基于显著对象分割掩模的红外和可见光图像融合框架，即SOSMaskFuse-。在融合过程中，我们将红外图像前景热特征提取的任务转化为显著目标分割的任务。设计了一种新的显著目标分割网络，用于从红外图像中获取感兴趣区域的二值化掩模。在此基础上，提出了一种新的融合策略IMV-F（infrared-mask-visible-fusion），将红外或可见光图像分解为前景和背景，然后将前景和背景部分分别融合为融合前景和融合背景。在三个公开数据集上与18种竞争算法进行比较的结果表明，我们提出的网络在减少红外噪声以产生具有清晰背景纹理信息和突出红外热目标信息的高质量融合图像方面具有较好的性能。

主要贡献

提出了一种新的显著对象分割（SOS）网络。通过SOS网络，从包含前景信息的红外图像中分割出二值掩码。实验结果表明，该方法能够有效地解决融合图像中红外-前景-热信息难以突出的问题。据我们所知，这项工作是文献中第一个将显着性掩模纳入非端到端深度学习网络中进行图像融合的工作。
提出了一种基于显著性掩码和源图像的IMV-F融合策略，基于掩码将图像在不同尺度分为前景和背景进行融合。实验结果表明，采用IMV-F策略融合的图像能够突出前景信息（如行人、汽车等）。以避免融合太多无用的红外噪声并保留丰富的可见背景细节。

整体架构

网络结构

网络结构分为两部分：掩码分割网络（SOS Network）和基于AE的融合网络。

在这里插入图片描述

掩码分割网络（SOS Mask）-基于HRNet网络设计的分割网络。经过卷积，下采样得到多尺度（不同分辨率）特征，上采样等操作获得掩码图像。（分割网络相较于原网络没有太大的变化）
在这里插入图片描述
融合网络-基于NestFuse设计的融合网络（多尺度）

整体流程

首先使用掩码分割网络（SOS Mask）来生成红外图像的掩码图像，然后将红外图像和可见光图像根据掩码图像分为红外前景、红外背景、可见光前景、可见光背景图像。将前景、背景图像送到融合网络中的编码器中提取多尺度特征，根据融合策略将不同尺度的前景图像、背景图像特征进行融合。最后整合不同尺度的融合特征得到融合图像。