VIF-Net：RGB和红外图像融合的无监督框架

📝论文下载地址

   [论文地址]

🔨代码下载地址

   [代码地址-unofficial]

👨‍🎓论文作者

Ruichao Hou, Dongming Zhou, Rencan Nie, Dong Liu, Lei Xiong, Yanbu Guo, and Chuanbo Yu

📦模型讲解

[背景介绍]

   图像融合时信息融合的一种，本质就是增强技术，运用多传感器获得的不同数据来提高网络性能。相对于单传感器的数据局限于一种数据的特性，多传感器能同时利用多中数据的特性，在视频监控、卫星成像、军事上都有很好的发展前景。对于本文来说，可见图像提供了丰富的纹理细节和环境信息，而红外图像则受益于夜间可见性和对高动态区域的抑制。如下图所示，左边时红外图像，右边是可见光图像。

   图像融合最关键的技术是怎么样能融合利用多种数据的优势。往往引入多种数据是双面性的，所以要抑制数据的不同带来的干扰。例如做变化检测的时候，往往因为成像不同而网络会错误地检测为变化。

   上图展示了图像融合的基本操作，将可见光和红外图像同时输入网络中，进行特征提取，之后进行特征融合，最后特征重建，生成融合图像。中间网络的部分也就是作者提出的VIF-Net。

[论文解读]

   作者主要针对其他融合方法有计算成本的局限性，而且需要手动设计融合规则。由此，作者提出了自适应的端到端深度融合框架VIF-Net，旨在生成信息更丰富的图像，包含大量的热信息和纹理细节。

[VIF-Net网络结构]

   VIF-Net的全称为Visible and Infrared image Fusion Network就是可见光和红外图像融合网络。VIF-Net体系结构如下图所示，它由三个主要组件组成：特征提取，融合和重建。

   可见图像和红外图像分别表示为$I_A$和$I_B$，它们输入到双通道中。通道$A$由$C11$和包含$D11$、$D21$和$D31$的block组成。通道$B$由$C12$和一个包含$D12$，$D22$和$D32$的block组成。第一层($C11$和$C12$)包含3×3的卷积以提取底层特征，每个$D$中的三个卷积层也都是3×3的卷积。由于这两个通道共享相同的权重以提取相同类型的深度特征，因此此结构在降低计算复杂度方面也具有优势。在特征融合部分，作者尝试直接连接深层特征，也就是通道进行叠加。最后，特征融合层的结果通过另外五个卷积层($C2$，$C3$，$C4$，$C5$和$C6$）来从融合特征中重建融合结果。下表概述了网络的更详细的体系结构：

   从表格的结构可以看出，假设输出都是单通道的图像，经过前面的特征提取层，每一层的输出都会与后面所有层的输出直接相连，这里是通道叠加。这样，可见光通道会输出$16+16+16+16=64$通道的特征图，两个网络通道会生成$128$通道，在特征融合层进行通道叠加，输入特征重建的就是$128$通道的特征图。

[M-SSIM+TV损失]

   从上面的结构图可以看到，损失函数主要分为两部分$L_{SSIM}$和$L_{TV}$，作者设计的损失函数为：
$$Loss=\lambda L_{SSIM}+L_{TV}$$

[SSIM]

   SSIM是一种衡量图像结构相似性的算法，结合了图像的亮度，对比度和结构三方面对图像质量进行测量。原本的SSIM公式为：
$$SSIM(x,y)=[l(x,y){]}^{\alpha }\times [c(x,y){]}^{\beta }\times [s(x,y){]}^{\gamma }$$
其中$l(x,y)$为亮度部分：
$$l(x,y)=\frac{2{\mu }_x{\mu }_y+C_1}{{\mu }_x^2+{\mu }_y^2+C_1}$$
其中$c(x,y)$为对比度部分：
$$c(x,y)=\frac{2{\sigma }_x{\sigma }_y+C_2}{{\sigma }_x^2+{\sigma }_y^2+C_2}$$
其中$s(x,y)$为结构部分：
$$s(x,y)=\frac{{\sigma }_{xy}+C_3}{{\sigma }_x{\sigma }_y+C_3}$$
其中${\mu }_x$与${\mu }_y$是图像的像素平均值，${\sigma }_x$和${\sigma }_y$为像素的标准差，${\sigma }_{xy}$为$xy$的协方差，$C_1$、$C_2$和$C_3$是常数，防止分母为0。一般情况下，$\alpha =\beta =\gamma =1、C_2=2\times C_3$则：
$$\begin{gathered} SSIM(x,y)=\frac{2{\mu }_x{\mu }_y+C_1}{{\mu }_x^2+{\mu }_y^2+C_1}\times \frac{2{\sigma }_x{\sigma }_y+2C_3}{{\sigma }_x^2+{\sigma }_y^2+2C_3}\times \frac{{\sigma }_{xy}+C_3}{{\sigma }_x{\sigma }_y+C_3} \\ =\frac{2{\mu }_x{\mu }_y+C_1}{{\mu }_x^2+{\mu }_y^2+C_1}\times \frac{2{\sigma }_{xy}+2C_3}{{\sigma }_x^2+{\sigma }_y^2+2C_3} \\ =\frac{2{\mu }_x{\mu }_y+C_1}{{\mu }_x^2+{\mu }_y^2+C_1}\times \frac{2{\sigma }_{xy}+C_2}{{\sigma }_x^2+{\sigma }_y^2+C_2} \end{gathered}$$
   作者认为图像分辨率很低亮度就不是很重要，所以去除了亮度，重写公式：
$$SSI{M}_M(x,y|W)=\frac{2{\sigma }_{xy}+C}{{\sigma }_x^2+{\sigma }_y^2+C}$$
根据以上公式可以计算$SSI{M}_M(I_A,I_F|W)$和$SSI{M}_M(I_B,I_F|W)$，其中$W$代表一个滑动窗口，大小为$m\times n$，作者设置窗口为$11\times 11$、$C=9\times 10^{-4}$，利用这个公式来衡量$I_F$与$I_A$或者$I_B$哪个更相似。例如$SSI{M}_M(I_B,I_F|W)>SSI{M}_M(I_A,I_F|W)$则$I_F$与$I_B$在窗口$W$中更相似，$I_F$在窗口$W$保留更多红外的信息。这样就能按以下公式自适应学习深度特征：
$$E(I|W)=\frac{1}{m\times n}\sum _{i=1}^{m\times n}{P}_i$$
$$\text{ Score }\left(I_A,I_B,I_F|W\right)=\{\begin{array}{l}{\mathrm{SSIM}}_M\left(I_A,I_F|W\right)\text{ if }E\left(I_A|W\right)>E\left(I_B|W\right)\\ {\mathrm{SSIM}}_M\left(I_B,I_F|W\right)\text{ if }E\left(I_A|W\right)\le E\left(I_B|W\right)\end{array}$$
$$L_{SSIM}=1-\frac{1}{N}\sum _{W=1}^N\mathrm{Score}\left(I_A,I_B,I_F|W\right)$$
   上面第一个公式是计算窗口内的平均值，之后计算SSIM如果包含更多$A$的信息，那么将$SSI{M}_M(I_A,I_F|W)$作为得分；如果包含更多$B$的信息，那么将$SSI{M}_M(I_B,I_F|W)$作为得分。第三个公式给出了$L_{SSIM}$的计算方法，$N$为滑窗的总个数，将其取平均值后与1相减作为损失函数。

[TV]

   TV全称是Total Variation译为总体变化，是一种衡量图片噪声的指标，传统的TV计算的公式为：
$${\mathcal{R}}_{V^{\beta }}(\mathbf{x})=\sum _{i,j}{\left({\left(x_{i,j+1}-x_{ij}\right)}^2+{\left(x_{i+1,j}-x_{ij}\right)}^2\right)}^{\frac{\beta }{2}}$$
其中，$x_i$代表一个像素，将其与水平方向+1的像素做差的平方，和垂直方向+1的像素做差的平方，两者之和开$\frac{\beta }{2}$次方，对每个像素求和(除最后一行和列像素)，这样就计算出TV。所以如果他有噪声的话，TV会明显变大，因为像素之间的变化会很大。然而，TV很小的话，图像会很模糊，因为相近的像素相等TV最小。作者运用以下公式求取$L_{TV}$。
$$\begin{array}{c}R(i,j)=I_A(i,j)-I_F(i,j)\\ L_{TV}={\sum }_{i,j}\left(\Vert R(i,j+1)-R(i,j){\Vert }_2+\Vert R(i+1,j)-R(i,j){\Vert }_2\right)\end{array}$$
   首先对$I_A$和$I_F$对应像素相减，得到$R(i,j)$，对$R(i,j)$求TV，作者取$\beta =2$。接下来作者提到，$L_{SSIM}$和$L_{TV}$不在统一数量级，$L_{SSIM}$会比$L_{TV}$低$10^2-10^3$。所以，这会导致网络更偏重于TV，使得图像分辨率，对比度较低，这也符合TV过低的情况。作者于是引入平衡参数$\lambda$使两种损失函数在同一水平上。
$$Loss=\lambda L_{SSIM}+L_{TV}$$

[VIF-Net的训练]

   作者从公开可用的TNO图像数据集和INO视频数据集中收集了25对覆盖不同场景的可见和红外图像。 由于此数据集太小而无法满足训练要求，因此裁剪了约25000个尺寸为64×64的补丁，以扩展训练数据集而没有任何人工标签； 数据集的样本如下图所示。此外，作者将网络训练了50个epoch，使用Adam优化器以$10^{-4}$的学习率将损失。 作者的网络是在TensorFlow上实现的，并在配备Intel E5 2670 2.6 GHz CPU，16 GB RAM和NVIDIA GTX1080Ti GPU的PC上进行了训练。

[结果分析]

[评价指标]

   为了防止主观视觉的人为因素，作者使用物种可靠的量化指标：互信息/mutual information/$MI$、边缘保持/edge retentiveness/$Q^{AB/F}$、相位一致性/phase congruency/$PC$、非线性相关信息熵/nonlinear correlation information entropy/$Q^{NCIE}$、通用图像质量指数/universal image quality index/$UIQI$。

[$MI$]

   $MI$分数越高，表示从源图像获得的信息越丰富。公式如下：$$MI=\sum _{i_A\in I_{A_F}}\sum _{i\in I_F}p\left(i_A,i_F\right){\log }_2\frac{p\left(i_A,i_F\right)}{p\left(i_A\right)p\left(i_F\right)}+\sum _{i_B\in I_B}\sum _{i_F\in I_F}p\left(i_B,i_F\right){\log }_2\frac{p\left(i_B,i_F\right)}{p\left(i_B\right)p\left(i_F\right)}$$
其中$p(i_A,i_F)$为$i_A$与$i_F$的联合概率分布，$p(i_A)$为$i_A$的边缘概率分布。

[$Q^{AB/F}$]

   $Q^{AB/F}$测量了从原图像到融合图像转移的图像边缘数量。公式如下：
$$Q^{AB/F}=\frac{{\sum }_{i=1}^N{\sum }_{j=1}^M\left(Q^{AF}(i,j)w^A(i,j)+Q^{BF}(i,j)w^B(i,j)\right)}{{\sum }_i^N{\sum }_j^M\left(w^A(i,j)+w^B(i,j)\right)}$$
  这里比较难理解计算，简单来说，会通过边缘检测算法（Sobel边缘检测算法）计算出输入图像和融合图像的边缘信息，在通过上式得出指标，指标越高越好。具体的过程可以访问[多聚焦图像像素级融合方法研究-总第27页-论文页码第14页-⑥]

[$PC$]

   PC表示融合图像的结构，定义如下:
$$PC=(P_p{)}^{\alpha }(P_M{)}^{\beta }(P_m{)}^{\gamma }$$
其中$p$，$M$和$m$分别是相位，最大力矩和最小力矩，且$\alpha =\beta =\gamma =1$。

[$Q^{NCIE}$]

   $Q^{NCIE}$度量源图像和融合图像之间的非线性相关熵，定义如下：
$$Q^{NCIE}=1+\sum _{i=1}^3\frac{{\lambda }_i}{3}{\log }_{256}\left(\frac{{\lambda }_i}{3}\right)$$
其中${\lambda }_i$是非线性相关矩阵的特征值。

[$UIQI$]

   另外，$UIQI$是一种从相关损失，亮度和对比度三个方面来测量图像质量的评估指标。 定义如下：
$$UIQI=\frac{\left[\frac{4{\sigma }_{I,I_F}{\mu }_I{\mu }_{I_F}}{\left({\sigma }_{I_A}^2+{\sigma }_{I_F}^2\right)\left({\mu }_{I_A}^2+{\mu }_{I_F}^2\right)}+\frac{4{\sigma }_{I_B{I}_F}{\mu }_{I_B}{\mu }_{I_F}}{\left({\sigma }_{I_B}^2+{\sigma }_{I_F}^2\right)\left({\mu }_{I_B}^2+{\mu }_{I_F}^2\right)}\right]}{2}$$
其中$\mu$和$\sigma$分别表示平均值和标准偏差，${\sigma }_{I_A{I}_F}$是$I_A$和$I_F$之间的互相关。

[不同方法之间的对比实验]

   下面三个表格展示了三种图像（“Human”、“Street”、“Kaptein”）的测试结果。可以看出VIF-Net取得不错的性能。

其中作者对损失函数的超参数的取值进行对比，Proposed-500/800/1000分别对应$\lambda =500/800/1000$也就是下式：
$$Loss=\lambda L_{SSIM}+L_{TV}$$
   下图是三种图像的展示（自上向下是“Human”、“Street”、“Kaptein”），红色框是一些关键特征，可以看出效果很好：

   从上图中可以看到，由于大量的人工噪声，RP和CBF的结果具有较差的视觉效果。 此外，DLF，ADF，CVT，DTCWT，ASR，FPDE的结果看起来非常相似，并且会产生伪像，目标尚不清楚。 此外，GFCE和GTF包含明亮而显眼的目标，但是基于GFCE的融合图像的背景由于细节和亮度的增强而失真。 由于GTF可以平滑纹理，因此可见的细节和边缘会在一定程度上丢失。作者的方法会突出显示红外目标并保留纹理细节，从而在这些方法中提供最佳的融合性能。

  上图示出了“Street”的融合结果。 主要目标是将行人和路灯之类的信息融合到单个图像中，并尽可能保留车辆等环境信息。 更具体地说，作者所提出的方法的结果完全保留了信号灯，板上的字母和行人信息。 相反，GTF的结果会丢失大部分可见的细节，如标记区域所示。 DLF，ADF和FPDE的结果分辨率低，CVT，DTCWT和ASR将伪边缘引入融合图像，并且由于GFCE过度增强，融合结果中出现了伪影和失真。

  上图中显示的结果与上述两组相似，并且在作者的结果中保留了突出特征，例如天空，雨伞，帐篷，尤其是行人特征。 总而言之，GTF的结果会平滑可见的细节和边缘，GFCE会导致图像失真，CBF和RP引入噪声，而基于DLF，ADF，CVT，DTCWT，ASR和FPDE的方法会导致对比度和分辨率低。 相反，作者的方法产生最佳的视觉效果。 此外，在作者的方法中基于不同参数的结果非常相似，在视觉评估水平上的差异可以忽略不计。
  通常，由于单个度量无法客观地测量融合质量，因此作者选择这五个可靠的度量来评估不同的方法。 所提出的方法在$MI$，$Q^{AB/F}$，$PC$，$Q^{NCIE}$和$UIQI$方面达到了最新的性能。 特别是，$MI$指标表明，VIF-Net在保留显着特征和纹理细节方面没有明显的伪像和失真，具有很高的能力。
  其他数据上的结果如下图所示：

  其他数据上的结果在定量上的对比如下图所示，$MI$指标比其他比较方法的$MI$指标高得多，而其余的指标通常要好于其他比较方法：

[不同λ之间的对比实验]

   首先作者选取$\lambda =50/500/5000$得到下图结果：

   从实验结果来看，当$\lambda =500$和$\lambda =5000$时，融合结果差异不大，但后者丢失了一些纹理细节。 直观地，为了进一步突出红外目标，作者假设最佳$\lambda$将略大于500。为估计VIF-Net的性能，将$\lambda$的平均得分参数$\lambda$设置为100、300、500、800和1,000。 提议的方法列于下表。

   通过进一步分析，使用"Kaptein"对典型图像来证明VIF-Net的通用适应性，如下图所示。以"Kaptein"图中的结果为例，执行减法运算以方便观察差异。如下图所示，在视觉评估水平上的差异可以忽略不计。

  作者认为可以在λ= 1000时获得最佳融合结果，以下结果均是采用此参数。

[推理时间对比]

   其他方法（包括DLF，CBF，GTF，GFCE，CVT，DTCWT和FPDE）包含优化算法或复杂的比例转换，并且需要大量迭代，因此平均运行时间较长。 相比之下，由于降维算法和结构简单，ADF和RP的计算复杂度较低。 总体而言，由于VIF-Net具有简单的网络结构和较高的运行效率，因此在实时视频融合中也很有效，下表展示运行一次所用的平均时间：

[扩展实验-视频融合]

   作者选取两组视频进行试验，选择计算复杂度较低的ADF和DTCWT和作者提出的方法：
   ① “ ParkingSnow”，共有2941帧，大小为448×324。
   第一行是ADF方法，第二行是DTCWT方法，第三行是VIF-Net，最后一行是标定的移动物体。

   ②“ TreesAndRunner”，共有558帧，大小为328×254。
   第一行是ADF方法，第二行是DTCWT方法，第三行是VIF-Net，最后一行是标定的移动物体。

   在绿色标记区域中，作者发现行人特征丢失，并且融合帧的对比度在ADF和DTCWT的结果中较弱。此外，DTCWT的结果导致目标边界周围出现重影伪影。但是，VIF-Net克服了这些缺点。表VII中列出了视频融合的平均客观评价指标。 VIF-Net在视频融合方面也表现出色。VIF-Net每帧的平均运行时间为0.22s和0.15s，基本可以满足实时融合应用的要求。
   下面是融合后的指标对比，前三行是第一组视频，后三行是第二组视频。

   作者认为视频中移动的物体都是在红外图像比较明显的物体。将融合后的图像与红外图像中的移动物体抠出来，利用每一帧的Groundtruth，抠出来的图像相互做差，取绝对值。差值越小说明融合图融合红外图像效果更好。下图展示了三种方法在第一组视频（左）和第二组视频（右）上的差值对比。

🚪传送门

◉ 🎨RGB💥🔥红外
📦数据集
[TNO-RGB红外图像]
[FLIR-RGB红外图像]
[Multispectral Image Recognition-RGB红外目标检测]
[Multispectral Image Recognition-RGB红外语义分割]
[INO-RGB红外视频]
[SYSU-MM01行人重识别可见光红外数据]
📚论文
[VIF-Net：RGB和红外图像融合的无监督框架]
[SiamFT：通过完全卷积孪生网络进行的RGB红外融合跟踪方法]
[TU-Net/TDeepLab：基于RGB和红外的地形分类]
[RTFNet：用于城市场景语义分割的RGB和红外融合网络]
[DenseFuse：红外和可见图像的融合方法]
[MAPAN：基于自适应行人对准的可见红外跨模态行人重识别网络]

◉ 🌆多光谱💥🌁高光谱
📦数据集
[高光谱图像数据]
📚论文
[Deep Attention Network：基于深层注意力网络的高光谱与多光谱图像融合]

◉ 🎨RGB💥🥓SAR
📦数据集
[待更新]
📚论文
[待更新]

◉ 🎨RGB💥🔥红外💥🥓SAR
📦数据集
[待更新]
📚论文
[待更新]

💕大家有数据融合方向的优秀论文可以在评论分享一下，感谢。🤘