红外与可见光图像融合入门教学

置顶 已于 2024-06-13 20:27:30 修改
阅读量8.2k 收藏 236
点赞数 34
分类专栏： 图像融合 图像处理 深度学习 文章标签： 计算机视觉 红外与可见光图像融合
于 2023-08-27 11:32:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43627076/article/details/132516311
版权

红外与可见光图像融合入门教学

该篇博客是对博主了解到的红外与可见光图像融合领域论文的一个总的介绍，论文的具体的解读欢迎大家来到红外与可见光图像融合专栏，关于该领域的问题也欢迎大家私信或则公众号联系我。另外，欢迎大家加入图像融合的QQ交流群，咱们可以一起交流交流。
QQ群：709555152

随着时间的推移，我们的图像融合专栏已然汇聚了十多篇论文解读。然而，仅凭博客文章来交流图像融合的知识与见解，似乎有些力不从心。毕竟，博主一人之力有限，而若能鼓励大家主动分享各自在图像融合领域的经验和洞见，我坚信，这对于我们这个关注图像融合的群体将带来巨大的好处。

因此，博主创建了一个红外与可见光图像融合社区，欢迎图像融合的大佬们加入这个社区！也同时欢迎大佬们在社区中分享自己的论文解读博客，方便大家一起交流！

社区传送门 》 红外与可见光图像融合社区 《

如有侵权请联系博主

博客使用说明

写这篇博客的目的是帮助刚入门图像融合的萌新们快速入门图像融合，同时也可以帮助在融合领域有一定深耕的大佬们了解融合现状。

第一部分是对于红外与可见光图像融合的简单介绍，用通俗的语言来讲述什么是图像融合以及为什么要进行图像融合。

第二部分是博主个人推荐给萌新们入门的读论文顺序。

第三部分是最新的图像融合论文的解读，这一部分不仅仅包含博主本人的论文解读，同时也包含各位大佬的论文解读。

第四部分则是数据集的下载地址，帮助萌新们迅速找到热门数据集。

什么是红外与可见光图像融合

对于我们刚入门的小伙伴，你可能会有一个疑惑，为什么要进行红外与可见光融合？

难道就是给你一张红外，一张可见光，直接无脑融合吗？

显然不是的，这里我们来看下示例图像
在这里插入图片描述
首先我们可以看到的是，红外图像中有一个明显的目标信息，何为目标信息？
在这里插入图片描述

这张图中就是人的信息。我们看到的是一个浑身发光的人在奔跑，但是他奔跑的场景是什么？ 我们在红外图像中是看不到背景信息的纹理信息的。那么什么是纹理信息？ 接下来我们来看一看。

看向可见光图像，在这张图像中你看不到奔跑的人，你甚至回觉得，这和红外图像拍摄的时间绝对不一样，而这正是红外与可见光融合的意义。

看向下图，你发现什么？是不是发现可将光图像中较为清晰的看到叶子的信息，相比于红外图像来说是不是更加清晰，这些内容就被我们称为纹理信息。
在这里插入图片描述

了解了这些内容之后，我们就可以说一说红外与可将光图像融合到底是融什么了？

通俗来讲，就是将上文中所描述的目标信息和纹理信息集成在一张图像中，即融合图像。我们希望融合图像应当是有保留红外图像的目标强度信息，同时也会保留可见光图像的纹理信息，如下图。
在这里插入图片描述

到了这里，你就对图像融合有一个初步的理解了，这里为了方便大家理解，粗字体描述的内容其实是最开始做红外与可见光图像融合时大家的对其的认知，在你研究了多篇论文之后，你就会发现，红外图像中的纹理信息也是不可或缺的一部分，同时可见光图像也存在一些极其亮的东西，也是我们想要保留的。

接下来一起看看有什么论文吧。

论文

以下论文顺序是我认为还可以的读论文顺序，以供大家参考，每一篇论文的介绍最开始有原文链接和博主自己的论文解读。
在这里插入图片描述

DeepFuse

DeepFuse论文链接
DeepFuse论文解读
我还是倾向于将这篇论文放在第一篇，很经典的一篇文章，可以从这篇开始读。

在这里插入图片描述

DenseFuse

DenseFuse论文链接
DenseFuse论文解读
在读完DeepFuse之后就可以开始看DenseFuse了，DenseFuse的网络结构与DeepFuse的很类似，创新的是，DenseFuse将DenseNet整合进了Encoder（解码器）中，这就大大减少了编码过程中的信息损失。

下图这样的网络结构为自动编码器，所谓自动编码器就是有一个编码器（Encoder）一个解码器（Decodeer）和一个中间层（Fusion Layer）。这种网络结构的好处就是可以单独的训练编码器和解码器，在二者训练完成之后，可以再去选择合适的中间层。

分开训练的意义是什么呢？

前期我们所用的数据集的大小是很小的，这就导致了容易过拟合现象的出现。那我们怎么才能提高网络的泛化能力呢？这时候就可以使用哪些数据量很大的数据集先进行编码器和解码器的训练，使其拥有极强的特征提取能力和图像还原能力，然后最后再并入我们的中间层，融合性能就会有很大的提升。
在这里插入图片描述

RFN-Nest

RFN-Nest论文链接
RFN-Nest论文解读
此时你可能觉得跳度有点大，因为这篇论文的时间和前两篇相差时间较大，但是你是绝对可以看懂的。如果有问题可以先看看NestFuse，但是博主是直接看的这个，还是可以的。

看下网络结构，你会发现和前面的好像没啥关系，但其实该网络结构依然是自动编码器结构，不同的是编码器和融合层采用多尺度的网络结构，而融合层不再是手动设计的，而是采用神经网络。详细的内容可以参考原文和解读。
在这里插入图片描述

FusionGAN

FusionGAN论文链接
FusionGAN论文解读
看了这么多篇基于自动编码器的论文，是不是有点累了，那来换一换，来看一种新的思路。到这了就必须得说一说了，马佳义大佬首次将GAN引入到红外与可将光图像融合的开山之作。只能说无敌。
在这里插入图片描述

DDcGAN

DDcGAN论文链接
DDcGAN论文解读

FusionGAN的单鉴别器会导致融合图像中红外与可见光图像的信息的不均衡，因此大佬们又开发一种双鉴别器。旨在促使融合图像中信息更加均衡。
在这里插入图片描述

AttentionFGAN

AttentionFGAN论文链接
AttentionFGAN论文解读

延续了双辨别器的一片论文，引入了注意力机制，通过我们希望注意的区域的特征的对比来判断融合图像中是否包含了可视的纹理信息和红外图像中的目标信息。
在这里插入图片描述

GANMcC

GANMcC论文链接
GANMcC论文解读
双鉴别器需要设置一个合理的循环训练策略，一旦策略设置的有问题，也会导致信息的不均衡，而如何设置合理的策略是极其有挑战性的。因此大佬们又开发了多分类鉴别器，基于单鉴别器实现信息的均衡。
在这里插入图片描述

最新论文解读

APWNet

APWNet论文链接
APWNet论文解读

博主： 老猪心飞扬

适合研究可见光与红外光图像融合实时性的人阅读，通过考虑下游目标识别任务，将目标检测的损失加入网络，并且使用的是逐像素的融合策略，实现在网络较为轻量的情况下保证实时性和图像质量。
网络整体结构

数据集

TNO数据集

https://figshare.com/articles/dataset/TNO_Image_Fusion_Dataset/1008029
下载这个ARCHIVE
在这里插入图片描述

RoadScene数据集

https://github.com/hanna-xu/RoadScene

MSRS数据集

https://github.com/Linfeng-Tang/MSRS

M3FD数据集

https://github.com/dlut-dimt/TarDAL
下面这两个链接都可以。
在这里插入图片描述

总结

时间有限，先介绍这几篇，更多论文解读欢迎关注图像融合专栏。
》》图像融合专栏《《

有图像融合领域的问题欢迎大家私信我，或则公众号联系也可。

更新
在评论区看到要加微信的兄弟们，不如建个群咱们一起交流交流比较好，建了个qq群，有兴趣的可以加一下。
QQ群：709555152

在这里插入图片描述

小王不头秃
关注
  • 34
    点赞
  • 踩
  • 236
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 33
    评论
专栏目录
红外图像与可见光图像融合笔记
06-22
讲述了红外图像与可见光图像的成像方式的不同，以及用各种不同的变换来融合红外图像和可见光图像。
红外图像与可见光图像(图像融合)
11-30
已经配准的红外图像与可见光图像数据集，做图像融合用
红外可见光融合数据集：M3DF
最新发布
CharlesShan1的博客
07-17 817
标注：已人工标注34407个标签，包含6种目标：{人、汽车、公交车、摩托车、灯具、卡车}。（受人手所限，可能会误标或漏标。如果您能指出错误或缺失的标签以帮助我们改进数据集，我们将不胜感激）配准：配准所有图像对。利用同步系统的内部参数对可见光图像进行了标定，利用单应矩阵对红外图像进行了畸变处理。传感器：由一个双目光学摄像机和一个双目红外传感器组成的同步系统。更多的细节可在文件中找到。图像大小：1024 x 768像素（大部分）
【图像】红外与可见光融合图像识别经典算法
沐风—云端行者
07-15 720
在图像识别领域，红外图像与可见光图像的融合技术开辟了一条新的路径，不仅增强了图像的细节和对比度，还提高了在各种环境条件下的目标检测和识别能力。红外与可见光图像的融合技术，通过综合两种图像的优势，为图像识别带来了新的视角和可能性。无论是传统的基于变换的方法还是新兴的深度学习方案，都在不断地推动这一领域的发展。该方法先构建源图像的拉普拉斯金字塔，然后在每一层上进行融合，最后重构出融合后的图像。图像融合的基本目的是将多个源图像的信息合并到一个输出图像中，以提高图像质量或提供更多的视觉信息。
一篇关于红外图像和可见光图像融合的摘要
热门推荐
weixin_42180950的博客
07-15 2万+
题目：Infrared and visible image fusion methods and applications: A survey 摘要：红外图像可以根据辐射差异将目标与背景区分开来，这在全天候和全天/整夜的情况下效果很好。相反，可见图像与人类视觉系统一致的方式可以提供具有高空间分辨率和清晰度的纹理细节。因此，期望融合这两种类型的图像，这可以结合红外图像中的热辐射信息和可见图像中的详细纹理信息的优点。在这项工作中，我们全面研究了红外和可见光图像融合的现有方法和应用。首先，详细回顾了红外和可见图
红外和可见光图像融合算法研究
m0_55395440的博客
01-12 2653
摘 要红外技术作为人类认识自然、探索自然的一种新的现代工具，已经被各国普遍的应用于生物、医学、地学等科学领域以及军事侦察方面。红外图像直接反映了物体表面温度分布情况，但由于目标的红外辐射十分复杂，而且影响目标红外辐射的因素很多，红外热图像的清晰度远不如可视图像。可见光图像能够很好的描绘场景中各个物体的外形结构，具有较好的轮廓表现力，所以将红外和可见光图像融为一体有非常好的效果。
【红外与可见光图像融合】DATFusion：DATFuse: Infrared and Visible Image Fusion via Dual Attention Transformer
learnererer的博客
03-04 1919
提到了未来的解决方向：由于配准是图像融合的前提，现有的图像融合方法只能解决静态场景的融合问题。未来，我们将提出一种实时图像融合方法，克服动态场景下图像融合的挑战，实现类视频的融合任务。
【图像融合】Dif-Fusion:基于扩散模型的红外/可见图像融合方法
qq_45752541的博客
05-11 1万+
颜色在人类的视觉感知中起着重要的作用，反映了物体的光谱。然而，现有的红外和可见光图像融合方法很少探索如何直接处理多光谱/通道数据，并实现较高的彩色保真度。本文提出了一种利用扩散模型diffusion来生成多通道输入数据的分布，提高了多源信息聚合的能力和颜色的保真度。具体来说，我们没有将现有的融合方法中的多通道图像转换为单通道数据，而是在潜在空间中创建了具有正向和反向扩散过程的去噪网络的多通道数据分布。然后，我们利用去噪网络提取具有可见光和红外信息的多通道扩散特征。最后，我们。
红外与可见光图像融合技术综述
Songxianshengbei的博客
04-13 1240
红外与可见光图像融合技术的意义在于，它能够结合两者的优点，生成一幅既包含红外图像的目标检测能力，又包含可见光图像的色彩和纹理信息的新图像。为了使融合结果能够保持更多可见光图像中的背景信息，可以将融合图像和可见光图像作为鉴别器的输入，由此来使融合图像不断地拟合可见光图像数据分布。红外与可见光图像融合技术是一种将红外图像和可见光图像的信息进行结合，以产生一幅包含两者优点的新图像的技术。通过融合红外图像的热源检测能力和可见光图像的环境信息，可以实现对隐蔽目标的探测和导航，提高飞行器的安全性和作战能力。
【图像融合】可见光与红外图像融合方法和评价指标
qq_41502322的博客
09-24 1万+
本文是对多传感器数据融合中可见光图像和红外图像的融合方法的分类和整理。
红外与可见光图像自适应融合源代码
02-20
针对低可见光图像和红外图像的特点,提出一种基于 DT-CWT的自适应图像融合算法.该算法具有好的平移不变性和方向选择性,更适合于人类视觉.先对源图像作双树复小波变换,充分考虑各尺度分解层的系数 特征,对低通子带引入免疫克隆选择,根据统计评价准则定义亲和度函数,自适应获得最优融合权值;对高通子带则根据人类视觉特性定义局部方向对比度,并作为 融合准则,突出和增强了各源图像的对比度与细节信息.实验结果表明:与基于小波的融合结果相比较,本文的融合算法自适应性和鲁棒性更强,较好地保护和显示 了源图像中的边缘和细节信息,对比度和清晰度都有所提高.该算法用matlab得以实现。
红外与可见光融合
04-19
基于主成分分析的红外与可见光特征及融合!
红外图像与可见光图像融合的研究
05-04
图像融合是指将 2 个或 2 个以上的传感器在同一时间 或不同时间获取的关于某个具体场景的图像或图像序列信 息加以综合， 以生成新的有关此场景解释的信息处理过 程 ［1 ］ 。红外与可见光图像融合则是在军事领域和安全监控 领域具有广泛应用的一种图像融合方式。红外图像一般较 暗、 信噪比低、 无彩色信息、 缺少层次感， 但却常有比较明显 的目标信息;可见光图像光谱信息丰富， 动态范围大， 对比度 相对较高， 包含丰富的细节信息， 但在黑暗背景下不易观 察 ［2 ］ 。通过对红外与可见光图像的融合， 提高红外目标的可 识别度和图像的清晰度， 获得更加详细准确的信息， 可以使 我们能在恶劣的环境下也能准确判断热源的位置， 在军事作 战、 电子产品检测、 资源探测等众多领域中都有广泛的实用 价值。
红外与可见光图像融合实验素材
02-21
[17] G. Piella. A general framework of multiresolution image fusion: From pixel to regions[J]. Information fusion, 2003(4)：259-280. 英国OCTEC公司提供两组配准了的红外和彩色图像进行融合实验。 可以用于可见光与红外的融合实验
图像融合源图像（红外与可见光）
07-12
图像融合源图像，整理了8组已配准的红外与可见光源图像
红外与可见光图像融合合集
05-31
以上知识点涵盖了从基础的图像处理技术到高级的深度学习模型，以及具体的融合算法，为理解和实现红外与可见光图像融合提供了全面的理论和技术支持。通过学习和实践这些方法，可以深入理解图像融合的原理，提高在实际...
红外与可见光图像融合——NSST算法（Matlab)
07-04
红外与可见光图像融合是计算机视觉领域中的一个重要研究方向，其目标是将红外图像和可见光图像的信息有效地结合，以生成具有更丰富细节和更高识别能力的复合图像。NSST，全称为非下采样剪切波变换（Nonsubsampled ...
使用深度学习框架（Pytorch） 的 红外和可见光图像融合_Jupyter_python代码_下载
06-12
红外和可见光图像融合是一种技术，它结合了两种不同波长下的图像信息，以提高图像的视觉质量和分析能力。这种方法广泛应用于夜间视觉、监控、遥感等领域。 首先，我们需要了解红外和可见光图像的基本特性。红外图像...
红外与可见光图像融合数据集
07-28
您好！对于红外与可见光图像融合的数据集，这里有一些常用的数据集供您参考： 1. FLIR数据集：由FLIR Systems提供的红外图像数据集，包含了多种场景下的红外图像和相应的可见光图像，可用于研究红外与可见光图像融合算法。 2. KAIST数据集：由韩国高级科学技术研究院提供的红外与可见光图像融合数据集，包含了城市街景中的红外图像和相应的可见光图像，适用于研究目标检测、目标跟踪等任务。 3. IVRG数据集：由比利时根特大学Image and Video Research Group提供的红外与可见光图像融合数据集，包含了不同场景下的红外图像和相应的可见光图像，适用于研究多模态图像融合算法。 4. TNO数据集：由荷兰国家组织TNO提供的红外与可见光图像融合数据集，包含了军事、安防等场景下的红外图像和相应的可见光图像，可用于研究目标检测、人脸识别等任务。 这些数据集都可以通过相应的官方网站或联系提供者获取。同时，还有一些学术论文中提到的数据集也可以作为参考，例如基于红外与可见光图像融合的目标检测数据集等。希望对您有所帮助！如有更多问题，请随时提问。
评论 33
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小王不头秃

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值