【红外与可见光图像融合】STFNet: Self-Supervised Transformer for Infrared and Visible Image Fusion

IEEE TRANSACTIONS ON EMERGING TOPICS IN COMPUTATIONAL INTELLIGENCE
代码公开

本文提到一些有意思的说法：我们假设融合数据集中只是存在轻微错位的图像对，这些图像对已经经过图像配准算法的预处理。我们引入了变形卷积，使得VIS和IR在特征上对齐。特征融合方面使用了自注意力和交叉注意力，虽然分别命名为细节自注意力和显著性注意力。但只是为了编故事。文章里没有提，代码里说明了这个块就是引用的2021的一篇CVPR【TransT Tracking】，直接拿来缝合的。

本文框架：

2021的CVPR

作者说特征对齐模块解决了错位问题，并减少了融合图像中的伪影。

作者举得没有完全对齐的例子–？

损失：

1. MS-SSIM损失

2. 频率损失：
   
   使用拉普拉斯算子把高低频分开，分别约束

3. 傅里叶损失；
   

典型主观图

左上角没有烟，有点模糊