Unsupervised Deep Image Fusion With Structure Tensor Representations论文笔记

一、Abstract

基于结构张量表示的无监督深层图像融合(光/热成像融合、远焦/近焦融合，欠曝/过曝融合，RGB/NIR图像融合)

1、现有问题

缺乏用于监督学习的标记数据

2、deep image fusion network (DIF-Net)

一个无监督的损失函数使用结构张量表示的多通道图像对比度，通过特征提取、特征融合和图像重建来融合图片。

二、Introduction

1、图像融合

提取各自信道中的有利信息，从多幅图像中生成包含重要特征的融合图，最后综合成高质量的图像

2、结构张量

描述图像对比度的有力尺度，是描述图像空间信息的有力工具，可以用于区分图像的平坦区域、边缘区域与角点区域。
张量就是一个关于图像的结构矩阵：

其中Ix，Iy就是原对原图像在x和y方向求得的偏导（水平、垂直方向的梯度）
带有结构张量的无监督损失函数来惩罚源图像和融合图像之间的结构张量。

3、传统方法：空间域和变换域方法

a）空间域方法：计算源图像的加权平均值（无需特征提取），权重由图像块或梯度信息确定。
b）变换域方法：将源图像中的信息转化为另一个特征域后再进行融合。常用的变换方法包括多尺度分解和稀疏表示。
c）缺点：仅强调强细节，对小而重要的细节不敏感。

4、CNN方式

用没有ground-truth的自学习编码和无监督损失函数，无监督损失函数是通过度量来判断融合质量的，所以网络就成为了确定哪些源图像应该对融合图像做出贡献的问题。

5、主要贡献

a）提出了一种基于结构张量的无监督图像融合框架，可以使输出具有与高维输入图像相同的对比度。
b）设计了一个轻量级的CNN架构，通过单个前向传递直接输出（无需复杂的解码器或迭代过程）。
c）我们的方法适用于多种融合应用，包括多光谱、多曝光和多聚焦图像融合。(光/热成像融合、远焦/近焦融合，欠曝/过曝融合，RGB/NIR图像融合)

三、Related Works

图像融合四种方法：空间域，变换域，基于梯度和基于CNN的方法

1、空间域

通过对源图像进行加权平均来实现图像融合。一般来说，权值是根据不同像素的活动程度来确定的，如SVM、神经网络和SIFT。
早期空间域方法：基于块的和基于区域的融合策略。基本原理是利用