图像融合笔记（二）：CGTF

---

一、模型简介

• CGTT：Convolution-Guided Transformer for Infrared and Visible Image Fusion（用于红外和可见光图像融合的卷积引导变换器）
• 特点：交替使用卷积特征提取模块（CFEM）和变换器特征提取模块（TFEM），用CFEM计算出来的局部特征来引导TFEM计算图像的长程相关性。这样可以兼顾局部特征和长程相关性，同时可以计算局部特征和长程相关性的内在关系。同时其在CFEM之间采用的是密集连接，及当前级CFEM的输入是前面所有CFEM输出的和，这样可以加强局部特征的传播。

二、网络结构

1.总体结构

如图所示为该模型的框架，由于红外和可见光的模态不同，在该框架中设计有两个分离的分支来分别计算源图像（红外和可见光）的特征。其中CFEM是用来计算局部特征的，TFEM是用来计算图像的长程相关性。在图中，先使用CFEM再使用TFEM，就是如同介绍一样，用CFEM计算出的局部特征来指导TFEM计算长程相关性，以此来计算两者的内在关系。同时，可以看到每一级的CFEM的输入，都是前面所有CFEM的输出的和，这样可以加强局部特征的传播。最后将计算所得的信息相结合，在经过一次CFEM、TFEM和CNN得到融合图像。

2.卷积特征提取模块（CFEM）

如图所示为CFEM的框架。在CFEM中，将输入分别送入两个不同的膨胀卷积分支（Conv1和Conv2）以此来提取不同感受野的局部特征。
在Conv1中，卷积核膨胀（dilitation）为1，以此来通过3×3感受野提取局部特征。其余的卷积核大小、步长和填充分别设置为3、1、1。以PReLU作为激活函数。
在Conv2中，卷积核膨胀（dilitation）为2，以此来通过5×5感受野提取局部特征。其余的卷积核大小、步长和填充分别设置为3、1、1。以PReLU作为激活函数。
最后将两个膨胀卷积的局部特征在通道维度上连接起来作为CFEM的输出。

3、变换器特征提取模块（TFEM）

如图所示为TFEM的框架。在TFEM中，输入特征首先进入Attented Feature Tokenizer（特征标记器）。在特征标记器中，首先通过Global Perception（全局感知）来计算全局信息，在通过全局信息来计算不同特征的权重（不同特征的重要程度），然后将输入特征乘以对应权重，最后将得一维标记。

• 特征标记器计算

其中Pavg表示平均池化，Pmax表示最大池化，sig(·)表示sigmoid函数，g(·)表示整型操作。
得到标记后，再通过Convolutional Transformer（卷积变换器）。在卷积变换器中，首先将标记转换为二维令牌图，再进行深度可分离卷积运算来实现卷积投影。之后再进行扁平化操作变为一维令牌，然后对其进行多头注意力和多层感知器处理，最后将结果重塑为二维特征作为输出。

• 卷积变换器计算

其中Conv2D(·)表示分离卷积运算，f(·)表示扁平化操作。

三、损失函数

由于该模型旨在保留源图像中的细节信息和足够多的纹理信息。其中细节以强度为特征，纹理信息以结构特征来表示，因此损失函数如下：

其中Lint表示强度损失函数，Lssim表示结构相似性损失函数，μ表示正则化参数。

• 强度损失函数计算

其中，H和W表示图像的高度和宽度，If、Ir和Iv表示融合图像、红外图像和可见光图像。||·||F表示矩阵Forbenius范数，λ表示正则化参数。

• 结构相似性损失函数计算

其中 SSIM(·)表示结构相似性度量

四、性能

性能指标：

• MI：互信息
• PSNR：峰值信噪比
• SSIM：结构相似性度量
• Nabf：融合结果中添加的噪声或伪影率
  将该方法与三种传统方法和五种基于深度学习方法进行比较，该方法再MI、PSNR、SSIM上具有最大值。其中MI大表示融合图像保留了源图像中足够多的细节信息，PSNR大表示其在失真小，SSIM大表示融合图像和源图像的结构相似。Nabf小表现融合图像具有较少的伪影。
  缺点：对比其他方法，该方法的计算时间变长