红外图像是什么?红外线与计算机视觉相关的研究方向?(Visible and infrared image fusion)

红外图像成像特点:由于红外图像是通过“测量”物体向外辐射的热量而获得的,故与可将光图像相比:分辨率差、对比度低、信噪比低、视觉效果模糊、灰度分布与目标反射特征无线性关系。

红外图像为什么有时候是黑白的,有时候是彩色的?

红外摄像仪得到的是灰度图像,就是黑白报纸上的照片那样的图像。灰度图像经过伪彩色增强,把原图中各像素点的灰度级按照某种映射函数变换成不同的色彩,才得到彩色图像

红外图像是单通道图像,并不是三通道。我们看的的红外彩色图像实际上是伪彩色,这和我们看到的可见光的彩色还是不同的

 


 

红外和可见光图像融合算法研究是什么?

可见光与红外图像融合(Visible and infrared image fusion)是图像融合领域的一个分支。
其在很多领域都有应用,例如可见光与红外图像融合跟踪(RGB-T tracking)、人脸识别、人耳识别、SLAM、国防领域

图像融合不是简单的数据叠加,而是对多个图像传感器获得的互补或冗余信息进行集合的过程。它使得新图像满足图像处理中的特征提取、目标识别或分割的需要。因此,图像融合技术被广泛应用于计算机视觉、军事、遥感和医学等领域。

红外图像和可见光图像分别是通过红外成像传感器与可见光成像传感器获得的。由于两种传感器工作原理不同, 性能也就不同。

  1. 红外图像能较好地反应图像的热目标特性,但对场景亮度变化特征不敏感, 且图像清晰度较低;
  2. 可见光图像能够较好地反应目标所在的场景细节信息,且清晰度较高。

 

所以将它们两者的优势结合: 

红外和可见光图像融合能有效地综合红外图像目标特征信息和可见光图像的场景细节信息,得到信息更全面的融合图像(利用可见光和红外图像包含互补的信息)  。

可见光图像容易受光照影响但包含很多细节信息,而红外图像不易受光照影响但是缺乏细节信息。下图展示了一个可见光与红外图像融合的例子。

从方法上来讲,传统的图像融合方法主要包含基于空间域的和基于变换域的方法:

  1. 基于空间域的方法是指直接在空间域对源图像进行操作从而得到融合图像的方法,主要包含基于像素的(pixel-based)、基于块的(block-based)和基于区域(region-based)的方法。
  2. 基于变换域的方法是指首先将源图像变换到某个变换域,然后在该变换域内进行图像融合(一般以系数的形式),最后再用逆变换得到融合图像的过程。常用的变换包括多尺度变换(例如小波变换)、压缩感知、稀疏表达等。
  3. 近年来,随着深度学习的发展,深度学习技术也被引入到了可见光与红外图像融合领域。包括CNN,GAN,AutoEncoder等在内的一些深度学习模型被应用到了可见光与红外图像融合领域,并“取得了不错的效果”。

因此,目前的图像融合方法主要有三种:基于空间域的方法、基于变换域的方法、基于深度学习的方法


相关链接:

红外与可见光图像融合论文阅读(一) - 知乎

红外和可见光图像融合算法研究 - 知乎

然后我看到知乎这个人一直在学习相关的融合技术,或许可以在它的博客看到相关的技术:奥本海默 - 知乎

拒绝“王婆卖瓜,自卖自夸” | VIFB:第一个可见光与红外图像融合Benchmark 

### 不同类型的红外可见光图像融合算法 #### 像素级融合方法 像素级融合是最基础的方法之一,通过对两个输入图像中的每一个像素位置执行特定操作来创建新的融合图像。常用的技术有: - **最大值选取法**:对于每一对对应的像素点,选择具有较高灰度级别的那个作为输出图像相应位置上的新像素值[^1]。 - **最小值选取法**:相反于前者,这里会选择较低亮度的那个像素值用于构建最终的结果图象。 - **均值计算法**:简单地取两者之间的算术平均数以形成合成后的单个数值表示该处的颜色强度或明暗程度。 ```matlab % MATLAB代码片段展示如何实现简单的像素级别融合 function fusedImage = pixelLevelFusion(infrared, visible) % infraredvisible 是输入的红外线和可见光线图片矩阵 maxVal = max(max(infrared),max(visible)); % 获取较大值 minVal = min(min(infrared),min(visible)); % 获取较小值 avgVal = (infrared + visible)/2; % 计算平均值 figure; subplot(1,3,1); imshow(uint8(maxVal)); title('Max Value'); subplot(1,3,2); imshow(uint8(minVal)); title('Min Value'); subplot(1,3,3); imshow(uint8(avgVal)); title('Average Value'); end ``` #### 特征级融合技术 特征提取是指从原始数据中识别并抽取有意义的信息单元的过程。在此基础上进行跨模态间的组合可以更有效地保留各自的优势特性。常见的策略如下: - **边缘检测增强型融合**:先分别对两种模式下的影像应用Canny或其他形式的边界探测器;之后依据某些准则(比如梯度方向一致性)决定哪些轮廓应该被强调显示出来。 - **纹理分析驱动的方案**:基于局部二值模式(Local Binary Pattern,LBP)或者其他描述子来进行表征学习,从而更好地捕捉不同波谱范围内的结构差异性。 #### 决策层面上的选择机制 决策层面指的是在整个处理流程结束前的最后一刻才做出最后定夺的方式。这类办法往往依赖于先前阶段产生的中间产物以及额外引入的质量评估指标来做权衡考量。例如: - **信息熵导向优化**:利用香农提出的理论框架衡量不确定性的大小,以此指导挑选最能代表整体特性的那一类变换系数或者空间域样本集合作为输出的一部分。 - **视觉显著性模型引导**:模拟人类感知系统的偏好倾向,优先考虑那些更容易引起注意的目标对象所在区域的数据权重分配情况。 通过上述多种途径相结合的形式能够有效提升多传感器获取到的信息综合表达能力,进而服务于诸如目标跟踪、环境监测等多个领域的需求。值得注意的是,《VIFB: A Visible and Infrared Image Fusion Benchmark》提供了多达二十种不同的融合算法供科研工作者们测试验证各种假设的有效性和优越性[^2]。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Pengsen Ma

太谢谢了

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值