结合亮度感知与密集卷积的红外与可见光图像融合

图像融合是一种图像增强技术,其目的是融合不同传感器提供的图像,生成信息更丰富的图像,以便于后续处理。其中红外与可见光图像融合是计算机视觉领域中非常重要的部分。首先,红外图像与可见光图像的信号来自不同的模式,因此可以从不同方面提供场景信息;其次,二者几乎呈现了物体的所有特性,并且具有互补性。可见光图像捕获反射光,通常具有较高的空间分辨率和可观的细节和明暗度,但很容易受到恶劣条件如光照差、烟雾等的影响,而捕获物体热辐射的红外图像能够抵抗这些干扰,但通常分辨率低,纹理较差。根据二者的成像特点进行图像融合,得到的互补融合图像可以广泛应用到遥感图像分类[1-2]、目标检测[3-4]和视频监控[5]等领域。

图像融合分为像素级融合、特征级融合和决策级融合。在过去的几十年里,国内外学者提出了多种红外与可见光图像融合方法。在像素级融合方法中,具有代表性的方法有变换域的ADF[6]、CBF[7]和WLS[8]和稀疏域的ASR[9]、LP[10]等方法。变换域中基于多尺度变换[11]的方法最为活跃,将源图像分解成多个层次,用特定的规则融合相应的层次,再重建目标图像,但由于其忽略了融合过程中的空间一致性,容易在融合图像中引入光晕。稀疏域的方法[12]需要构建一个过完备字典,需要多次迭代,非常耗时。图像融合中合适的信息提取方法和有效的融合原理是保证融合性能的关键[13]。近年来随着深度学习的兴起,国内外学者提出了许多基于深度学习的融合方法。2017年,Prabhakar等[14]针对多曝光融合问题提出了基于卷积神经网络的图像融合方法(DeepFuse),该方法网络结构过于简单,并且只使用编码网络中最后一层计算的结果,中

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
基于深度学习的红外与可见光图像融合是当前计算机视觉领域的热门研究方向之一。红外图像和见光图像具有不同的物理特性和信息内容,通过将它们融合在一起,可以提高图像的视觉感知和信息提取能力。本文将对基于深度学习的红外与可见光图像融合进行综述。 首先,深度学习在红外与可见光图像融合中的应用已经取得了显著的进展。传统的图像融合方法通常基于手工设计的特征提取和融合规则,而深度学习可以通过自动学习特征表示和融合模式来实现更准确和鲁棒的融合效果。卷神经网络(CNN)和生成对抗网络(GAN)等深度学习模型被广泛应用于红外与可见光图像融合中,取得了较好的融合效果。 其次,深度学习模型在红外与可见光图像融合中的应用包括特征提取、特征融合融合结果生成等方面。通过使用深度卷神经网络,可以提取红外图像可见光图像的高层次语义特征,并将它们融合在一起。生成对抗网络则可以生成逼真的融合结果,使融合后的图像既保留了红外图像的热信息,又具备了可见光图像的丰富细节。 此外,深度学习模型还可以通过多尺度和多模态的方式来进行红外与可见光图像融合。多尺度融合可以有效地处理不同分辨率和空间尺度的图像信息,提高融合结果的质量。多模态融合则可以将红外图像可见光图像的不同特征进行有机组合,增强图像的视觉效果和信息内容。 最后,尽管基于深度学习的红外与可见光图像融合已经取得了一定的成果,但仍然存在一些挑战和问题需要解决。例如,数据集的缺乏和标注困难使得深度学习模型的训练和评估变得困难。此外,不同的红外与可见光图像融合任务和应用场景可能需要针对性的模型设计和算法优化。 综上所述,基于深度学习的红外与可见光图像融合是一个具有挑战性和潜力的研究方向。通过深度学习模型的应用,可以实现更准确、鲁棒和逼真的红外与可见光图像融合效果,为红外图像处理和应用提供更多可能性。然而,仍需要进一步的研究和探索来解决现有问题,并推动该领域的发展。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

宋罗世家技术屋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值