【红外与可见光图像融合】Semantic perceptive infrared and visible image fusion Transformer

最新推荐文章于 2024-03-19 14:49:28 发布
最新推荐文章于 2024-03-19 14:49:28 发布
阅读量1.1k 收藏 26
点赞数 27
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/learnererer/article/details/136517510
版权

大多数方法关注到了全局信息建模和局部特征，但很少考虑到语义信息的建模，这可能导致信息保持不充分。
我们提出的SePT使用CNN提取局部特征，并通过Transformer学习长距离依赖，同时，设计了两个语义信息建模模块，学习高级语义信息。结果表明，所提出的两个语义建模模块分别将浅层特征映射为深层语义，并从不同的感受野中提取语义信息。
本文在一个新的RGB数据集M3FD上做了扩展实验，除了对比CNN，GAN-based的方法外，还对比了两个Transformer-based的方法和一个同样考虑到语义信息建模的方法SeAFusion。
本文选择的客观指标也没有选择几个特别常见的，同时对提出的几个模块做消融实验时，由于指标没有提升多少甚至有降低，所以没有加黑，但主观图是有提升的。
代码未公开。
选自Pattern Recognition。

1、Motivation

(1)基于CNN和GAN的方法具有较强的局部特征表示能力，但远程依赖学习能力较弱。这可能导致对融合图像至关重要的全局纹理的缺失。
(2)这些方法很少考虑深层语义信息，这可能导致融合过程中源图像信息保留不足。

作者说，一些图像融合研究将图像语义引入融合框架。

他们设计了一个信息量判别块来确定保留语义对象特征的权重，从而可以在特定的监督损失下很好地训练鉴别器和生成器。

但这些方法侧重于利用语义信息形成语义相关损失来指导融合过程，而很少考虑对其进行建模或其他操作。

2、网络结构

在这里插入图片描述
网络包括四个部分，局部特征提取模块，长距离建模模块，深度语义信息建模模块，宽度语义建模模块。

在特征提取 方面，IR和VIS是两个分支，分别提取不同模态的特征，作者也解释说

为了从两幅不同模态的源图像中充分提取信息，将两幅源图像作为两个独立的输入发送到网络中。

局部特征提取部分：

就是5个conv层，作者分开命名为，浅层特征提取，中层特征提取，深层特征提取。
在这里插入图片描述

长距离学习部分：

在这里插入图片描述
就是最基本的transformer块，考虑到计算效率。Transformer Encoder的层数设置为6。多头设置为4.

深度语义建模模块：

在这里插入图片描述
经过局部提取部分，提取到的浅层特征主要是颜色和边缘信息，因此我们设计深度语义建模模块为了提取高级语义特征。
在这里插入图片描述
其实也是基本的Transformer块，只不过这里叫Depth Transformer Encoder，特别的是，输入有变换。
在这里插入图片描述
两个分支都是拿第一层(浅层特征作为Q)，分别和中层和深层特征的KV点乘。

宽度语义建模模块

作者说虽然很多工作使用Transformer来捕获全局信息，他们很少考虑到输入Transformer的特征的感受野。这可能造成一些关键信息的丢失，受《SDTP: Semantic-aware decoupled transformer pyramid for dense image prediction, IEEE Trans. Circuits Syst. Video Technol》启发，我们提出了Width semantic-modeling 模块。

具体来说，就是把局部特征提取的第三层也就是最后一层特征分别送入扩张卷积，扩张系数分别设置为1，2，5，然后送入Transformer blocks。
在这里插入图片描述

在这里插入图片描述
这是3各分支的意义，在这里插入图片描述

融合以上获得的特征。

首先把来自Depth semantic modeling和Width semantic modeling的输出concat，然后经过一系列卷积(组成跟局部特征提取模块一样，3个卷积)最后得到的结果和局部特征提取模块得到的输出和全局特征(即长距离建模模块的结果)concat，送入重建块，同样也是几个卷积。

3、损失

我们提出的SePT network旨在挖掘深层语义信息，促进远程依赖关系与局部特征之间的相互作用，以提高融合质量，相应的设计了以下损失。

设计的很简单，SSIM和强度损失。
在这里插入图片描述

在这里插入图片描述
对于红外图像的热信息，采用像素强度有效表达，引入强度损失对输出进行约束，以保留更多的红外目标信息。强度损失定义为:
在这里插入图片描述
这个强度损失跟其他论文使用的也有所区别，这里只用融合图像和IR图像作差，没使用到VIS图像。

4、实验结果分析

TNO，RoadScene训练
在这里插入图片描述
作为额外的测试集。该数据集涵盖了四种主要场景，包括不同的环境、光照、季节和天气，具有广泛的像素变化

客观指标
mutual information (MI), MI reflects the quantity of information that the result reserves.
structural similarity index measure (SSIM), SSIM describes the images from brightness, contrast and structure perspective.
peak signal-to-noise ratio (PSNR), evaluates the ratio of crucial information and noise, therefore, it can measure the distortion of the results.
𝑁𝑎𝑏𝑓 𝑁𝑎𝑏𝑓 can measure the quantity of noise and artifacts in an image
𝑄𝑎𝑏𝑓 𝑄𝑎𝑏𝑓 is the metric that reflects the amount of edge information retained from source images

4.1 参数分析

我们的网络主要包含一个超参，α的选择会影响融合结果，我们根据先验知识设置为1，3，5，7.
在这里插入图片描述

虽然当该值为3和5时，结果中保留了两幅源图像的信息，但值为5时，结果图像的灰度信息和部分纹理融合不佳，如天空的灰度较暗，树木的纹理边缘不清晰。此外，为了进一步选择3和5之间的准确值，我们计算了对例子图像的定量评价，结果如表1所示。可以明显看出，当融合后的结果在4个评价指标上都具有较好的性能。因此，参数的值为3
在这里插入图片描述
因为这里损失只有两项，而第二项只拿IR对象对融合结果进行限制，直观的理解，α值越大，第二项比重就越大，融合结果就越接近IR图像。

4.2 消融实验

作者这个排版有点意思

在这里插入图片描述
去掉中间的长距离建模模块：
如果没有远程依赖学习，融合结果会丢失一些纹理信息。例如，第一幅图像中的人物缺少面部纹理，第二幅图像中的人物缺少一些轮廓信息。在第三对图像中，楼梯是模糊的，建筑物的墙上有一些黑影。对于第四对图像，天空是黑暗而模糊的，树木没有明显的边界。
在这里插入图片描述

去掉depth transformer块，去掉width transformer块，把两个都去掉，分别作了消融实验。
作者说从实验结果看，我们的SePT融合了全局细节和更丰富的信息，同时保持了足够的语义信息。
但其实：
在这里插入图片描述
从主观图来看，实验结果一般，地面的纹理细节不够突出。

在这里插入图片描述
没有Width transformer块：
在这里插入图片描述
第一副图像中人物的红外显著目标语义信息保留较好，但人物的面部和服装细节模糊。这意味着所设计的宽度语义建模模块可以通过学习存在于不同感受野的语义信息，为融合结果提供更细致的纹理。

在这里插入图片描述

去掉深度语义建模模块后，网络保留全局语义信息的能力明显不足。例如，第一和第二图像对中人体目标的红外信息保存得不好，目标的亮度相对较低。因此，设计深度语义建模模块，将源图像的浅层特征映射为高层语义信息，有助于在保留全局语义的同时保留局部细节

定量评价,我们可以看到，所有的融合网络在所有指标上都有很小的差距。因此，基于定性效果和定量评估，我们可以得出结论，提出的基于变压器的模块有助于提高融合性能。
在这里插入图片描述

4.3 TNO上的客观指标，主观图这里不想贴了。

在这里插入图片描述
可以看出 SePT 在四个指标（MI、SSIM、Nabf 和 Qabf）中取得领先地位，并且在 PSNR 上与 D2WGAN 和 TSIFVS 之间的差距较小。具体来说，
最大的 MI 值表明相比其他方法，SePT 能够将大部分信息从输入中传递到结果中。
最高的 SSIM 值和竞争力强的 PSNR 值验证了，在局部和全局特征的交互以及高层语义信息的感知下，SePT 保留了相当数量的纹理内容和细节信息，并且几乎没有失真。
SePT 达到的最高的 Nabf 值表明融合结果具有最小的噪声和伪影。
最高的 Qabf 值表明 SePT 保留了源图像的大部分边缘信息。

4.4 M3FD上的结果

在这里插入图片描述
在这里插入图片描述
最高的PSNR值意味着SePT保留了大部分纹理内容和详细信息，几乎没有失真。具有竞争力的MI、SSIM、Nabf和Qabf值验证了SePT从源图像传输了相当多的信息，并且噪声更少。
在这里插入图片描述

以上对比的都是CNN-based和GAN-based，作者接下来对比了两个Transformer-based，IFT和SwinFusion
通过与IFT和SwinFusion的对比可以看出，SePT能够通过对语义信息的感知来关注场景信息和物体纹理。

在这里插入图片描述
在这里，更好的客观指标值用黑体加粗了，可能是因为在这里好的指标更多吧（）

4.5 与使用语义信息的方法对比

为了证明将语义信息引入图像融合任务的贡献，我们与利用语义信息的融合方法进行了额外的比较。

在这里插入图片描述
在这里插入图片描述
第二张图来说，SeAFusion虽然人体目标很亮，但面部细节缺失，而且无法区分战壕的纹理。
直观看来，背景很接近可见光，而人脸和战壕这种小感受野的却很接近红外？

5、算法效率

在这里插入图片描述
因为使用了大量的Transformer，效率低，这是未来的解决方向。

6、总结

这项工作侧重于通过网络设计学习语义信息，但对损失函数的改进关注较少。此外，这项工作主要考虑了灰度图像的融合，这使得将成果扩展到多通道图像的融合变得困难。在接下来的工作中，我们将继续深入研究将语义信息引入融合任务的优势，通过设计有效的语义相关损失函数来约束网络训练过程。此外，我们将考虑多通道图像的固有特性，并设计具有高泛化性能的通用融合网络。

yeager415
关注
  • 27
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Modeling continuous visual features for semantic image annotation and retrieval
02-21
Automatic image annotation has become an important and challenging problem due to the existence of semantic gap. In this paper, we firstly extend probabilistic latent semantic analysis (PLSA) to model continuous quantity. In addition, corresponding Expectation-Maximization (EM) algorithm is derived to determine the model parameters. Furthermore, in order to deal with the data of different modalities in terms of their characteristics, we present a semantic annotation model which employs continuou
TCCFusion: An infrared and visible image fusion method based on transformer and cross correlation 论文
wsgaolitou的博客
03-29 511
基于Transformer的图像融合论文
红外相机和RGB相机标定：实现两种模态数据融合
最新发布
mjlsuccess的专栏
03-19 824
红外相机和RGB相机标定，实现两种模态数据融合
Digital Image Semantic Segmentation Algorithms : A Survey
02-07
In the eld of computer vision, image semantic segmentation is an important research branch and it is also a challenging task. Applications such as autonomous driving, Unmanned Aerial Vehicle System (UAVS), and even virtual or augmented reality systems require accurate and ecient segmentation mechanisms. With the rise of deep learning methods, image semantic segmentation is more and more concerned by relevant researchers. In order to understand the research status, existing problems and developme
基于多层深度特征融合的极化合成孔径雷达图像语义分割
02-22
针对传统特征表征能力较弱的问题，提出了一种基于多层深度特征融合的极化合成孔径雷达图像语义分割方法；利用经过预训练的VGG-Net-16模型提取表征能力更强的多层图像特征，再将各层深度特征分别用于训练对应的条件随机场模型，最后将多个条件随机场模型的输出结果进行融合，实现了最终的图像语义分割。结果表明：与基于传统经典特征的方法相比，所提方法取得了最高的总体分类精度，说明所提方法采用的融合特征具有比传统特征更强的表征能力。
Modeling Image Data for Effective Indexing and Retrieval in Large General Image Databases
02-20
In this paper, we propose an image semantic model based on the knowledge and criteria in the field of linguistics and taxonomy. Our work bridges the "semantic gap" by seamlessly exploiting the synergy of both visual feature processing and semantic relevance computation in a new way, and provides improved query efficiency and effectiveness for large general image databases. Our main contributions are as follows: We design novel data structures, namely, a Lexical Hierarchy, an Image-Semantic Hiera
图像融合M3FD数据集
09-08
图像融合 M3FD 数据集 论文：Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection 下载链接：https://github.com/JinyuanLiu-CV/TarDAL 数据集：该数据集仅包含整个数据集中的M3FD_Fusion文件 为方便网络不好的同学，现将此数据集进行上传。
RGB_IR多模态融合文章MFNet: Towards Real-Time Semantic Segmentation for Autonomous Vehicles with Multi-Spect
weixin_43832437的博客
04-12 2559
MFNet: Towards Real-Time Semantic Segmentation for Autonomous Vehicles with Multi-Spectral Scenes 摘要 本文研究了基于新的RGB-Thermal数据集的自动驾驶车辆街景图像的语义分割，本文还对此进行了介绍。对自动驾驶车辆的兴趣日益增加，使得语义分割适应于自动驾驶系统。然而，最近关于语义分割的研究主要基...
红外与可见光图像融合入门教学
就很有趣的博客
08-27 5315
更适合中国宝宝的红外与可见光图像融合入门教程。
TarDAL
一叶轻舟博客
06-30 3354
论文翻译，内容整理
Python 将M3FD数据集格式转为YOLO格式
iamjingong的博客
05-10 901
M3FD从VOC格式转YOLO格式的代码 import os import xml.etree.ElementTree as ET import time from shutil import copyfile from tqdm import tqdm """ 本代码这里默认是处理的M3FD数据集 将该数据集由VOC格式转换成YOLO格式 同时将文件重命名存储 同时过滤了自己用不到的类别 使用该代码前，建议稍微读一下，清楚代码中的限制，避免不必要的麻烦 """ classes = ["People"
Semantic segmentation based on fusion of features and classifiers
02-07
Semantic segmentation based on fusion of features and classifiers
TarDAL（Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse）
m0_47005029的博客
06-13 2863
在本文中，提出了一个双层优化配方，共同实现融合和检测。通过将模型展开到设计良好的融合网络和常用的检测网络，我们可以生成视觉友好的融合和目标检测结果。为了促进这一领域的研究，我们提出了一个同步成像系统与可见光-红外传感器和收集多场景多模态基准。
热红外、可见光图像配准融合
热门推荐
Barry_123的博客
03-15 1万+
热红外、可见光图像配准融合 使用DJI M300RTK配备H20T云台相机进行光伏面板表面缺陷自动化检测。 H20T云台相机配备一个2000w变焦镜头、一个1200w广角镜头、一个30w红外热成像镜头、一个激光测距传感器。 为了对更好地进行数据分析，需要首先把红外图像和可见光图像进行对齐。 考虑两图像视角差异较小，首先采用的方法是手动计算两图像的尺度因子和偏移进行粗略配准，参考博客： 热红外/可见光图像融合 认为两相机的相对位置关系不变，粗略认为根据一对图像计算出来的两视角图像映射关系可以应用于其他时刻
Disentangled Representation：IVIF
weixin_43690932的博客
11-13 1154
解纠缠好难呀！
【图像融合】MATLAB实现红外图像和可见光图像的特征匹配及图像融合示例
G_redsky的博客
02-21 1647
在MATLAB中，可以使用多种内建函数来实现特征匹配和图像融合。
RGB-IR技术
jzwjzw19900922的博客
03-14 1万+
1. 什么是RGB-Ir? 首先解释下：RGB是颜色模式，分别代表Red, Green, Blue，是最广泛应用的色彩模式。 IR是Infrared，即红外线，其波长（约760nm~1mm）比红光长，是不可见光。 在光线比较暗的情况下，使用IR摄像头增强现实效果。 传统的COMS图像传感器采用Bayer格式作为色彩滤波阵列（CFA, Color Filter Array），像素点的色彩信息根据特定波长的光来确定。 RGB-Ir技术使用RGB-Ir CFA，基于Bayer格式，修改部分像素点为IR像
基于Azure Kinect DK相机的安装配置，获取并保存RGB、Depth、IR图、点云，点云融合（Windows）
OWN CODE WORLD
05-06 3331
版本：VS2019、Kinect3.0、相机传感器SDK1.4.0、OpenCV3.4.1、PCL1.10.1 参考文章： 基于Azure Kinect SDK获取物体rgb图、深度图、红外IR图和点云数据并保存到本地 RGB-D相机（Azure Kinect DK...
【图像融合】融合算法综述（持续更新）
qq_45752541的博客
08-15 9751
按时间顺序，综述近5年的融合算法。重点分析了最近两年的work，欢迎留言探讨
STransFuse: Fusing Swin Transformer and Convolutional Neural Network for Remote Sensing Image Semantic Segmentation
06-09
STransFuse是将Swin Transformer和卷积神经网络（CNN）相融合的一种方法，用于遥感图像语义分割任务。具体而言，STransFuse首先使用Swin Transformer提取图像的全局特征，然后将这些特征与CNN中提取的局部特征进行融合，从而获得更准确的语义分割结果。在实验中，STransFuse在多个遥感图像数据集上取得了优异的性能表现，证明了其在遥感图像分析中的有效性和实用性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值