一、可见光与红外图像以及融合图像的特征
-
可见光图像:
- 纹理细节
- 高空间分辨率
-
红外图像:
- 区分热辐射
- 忽略照明
-
融合图像:
- 突出辐射信息(亮度和对比度)
- 详细的纹理信息(渐变和边缘)
- 清晰、完整和准确的目标描述
二、图像融合与图像特征融合的区别
-
图像融合(Image Fusion)
图像融合是一种图像增强的方法,可见光图像捕获反射光,而红外图像捕获热辐射,两者结合具有互补的特性,融合后的图像比任何单张图像都包含更多的信息,且更准确。
图像融合的目的是:
-
减少数据量
-
构建更适合人与计算机感知识别的图像
-
融合后的图像比任何输入单张图像提供更多的信息
-
-
图像特征融合(Image Feature Fusion)
图像特征融合是将图像中提取出的特征进行组合。图像的特征可分为传统特征与深度特征。传统特征包括颜色直方图、HOG、SIFT、ORB等,融合手段大多将特征进行拼接。
在深度学习任务中,现有方法主要采用两种方式进行特征融合:
-
按元素进行相加(element-wise addition),代表有FPN/ResNet/SENet等网络结构
-
特征图拼接(Concatenation),代表网络为DenseNet。
-
-
两者区别
图像融合主要在像素层面(数据层)进行,生成信息量更丰富的图像;而图像特征融合在特征级别进行,结合各个维度的特征,增强特征表达力。
三、本文参考
[1] https://blog.csdn.net/AITIME_HY/article/details/113777988 基于深度特征分解的红外和可见光图像融合
[2] https://zhuanlan.zhihu.com/p/500662503 论文笔记 | 图像融合与图像特征融合的区别和联系
[3] https://blog.csdn.net/weixin_42180950/article/details/107324726 一篇关于红外图像和可见光图像融合的摘要