【IVIF】LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images

本文对红外可见光融合任务的分析很有独特见解，就是融合网络的设计仍然是基于经验主义的，没有可解释性。为了解决这一问题，本文将融合任务数字化，构建了一个轻量级的融合网络。本文所提到的ISTA以及LISTA没搞懂。
特征提取阶段，使用可解释性更强的架构（设计迭代格式、嵌入可学习模块）。基于LRR的分解模型得到了源图像的Base和Detail部分，分别使用简单的conv融合，还基于VGG16设计了新的损失函数。
本文也算是采用了一个把图片分解成Base和Detail然后分别融合的策略，只不过这里使用的是矩阵分解来实现这样分解的目的。
顶刊TPAMI 2023
代码公开

1、摘要动机

我们将融合任务数学化，并建立起其最优解与能够实现它的网络架构之间的联系。这种方法导致了一种新颖的方法，即构建一个轻量级融合网络。它**避免了通过试错策略进行耗时的经验性网络设计。**具体来说，我们采用了一种可学习的表示方法来处理融合任务，其中融合网络架构的构建由优化算法产生的可学习模型来引导。低秩表示（LRR）目标是我们可学习模型的基础。解决方案的**核心矩阵乘法被转化为卷积操作，并且优化的迭代过程被一个特殊的前向网络所替代。**基于这种新颖的网络架构，我们构建了一个端到端的轻量级融合网络来融合红外和可见光图像。其成功训练得益于一个被提出来*保持图像细节并增强源图像显著特征*的**逐细节到语义信息损失函数。**


网络架构往往是通过经验性的试验和测试策略构建的。无可避免地，找到一个合适的融合架构需要很多时间。因此，设计一个良好的融合网络结构的问题仍然是一个关键的研究问题。为了解决上述设计问题，本文提出了一种表示学习引导的融合网络（LRRNet）用于红外和可见光（IR-VI）图像融合任务。提出了一种新颖的可学习图像分解模型（Learned LRR，即LLRR）来指导我们融合网络架构的构建。

The key differences between the proposed representation model guided and empirically designed fusion networks is exemplified in Fig.1.

2、问题建模

L为低秩系数，S为稀疏系数
D1 and D2 are dictionaries which are utilized to project L and S into the base part and the salient part.

把输入X表示为 D1L，这部分表示源图像的基础部分，包括轮廓和亮度信息。
D2S，这部分表示源图像更显著性的部分，包括纹理，边缘和目标 这两者的加和。

改写成这样的优化问题，求解这样的问题，需要进行大量的矩阵分解，耗费时间，得益于《Learning efficient sparse and low rank models》的工作，可以使用约束低秩来优化核范数，

结合2，3，优化问题进一步改写：

简化一下：

公式5的求解可以使用LISTA

LISTA中的迭代公式如下：

使用LCSC中提出的算法，we can use a convolutional layer to replace the matrix multiplication and construct a network.
上框中的迭代步骤可以重写为：

这样LLRR可以称为特征提取块，作者叫特征分解块单纯从神经网络理解来看，就是卷积和一些跳跃连接。可人家就是很有效很轻量化，是不是得益于损失的设计呢？

3、总体框架

前面block输出的是低秩系数和稀疏系数，分别通过卷积层，可以提取低秩部分和系数部分。上面c11-22就是实现这一步骤的。

分别融合之后，直接相加就是最终的融合结果。

4、提出的新的损失

在这一层级上，希望更多保持可见光的细节。

浅层特征也是希望接近于可见光。

为了从红外模态中保留显著特征，在深层使用Gram矩阵提取更抽象的信息，这些信息包含融合图像的语义特征。