IVIF: ResNet:ZCA

最新推荐文章于 2022-12-10 01:00:00 发布

小郭同学要努力

最新推荐文章于 2022-12-10 01:00:00 发布

阅读量363

点赞数

分类专栏：图像融合文章标签：计算机视觉图像处理深度学习

本文链接：https://blog.csdn.net/weixin_43690932/article/details/127627014

版权

图像融合专栏收录该内容

134 篇文章 80 订阅

订阅专栏

Infrared and visible image fusion with ResNet and zero-phase component analysis(ZCA)

（具有ResNet和zero-phase分量分析的红外和可见光图像融合）

本文提出了一种基于深度特征和零相位分量分析 (ZCA) 的新型融合框架。首先，使用残差网络 (ResNet) 从源图像中提取深度特征。然后利用ZCA和l1-norm来归一化深度特征并获得初始权重图。最终的权重图是通过与初始权重图结合使用软最大操作来获得的。最后，使用加权平均策略重建融合图像。

介绍

几十年来，信号处理算法是图像融合任务中最具倾向性的特征提取工具。2016年，Bavirisetti等人提出了一种基于二尺度分解和显著性检测的融合方法。通过平均滤波器和中值滤波器提取基础层和细节层。视觉显着特征用于获取权重图。然后通过组合这三个部分来重建融合图像。

在稀疏表示 (SR) 领域，Zong等人提出了一种新的基于SR的医学图像融合方法。在他们的论文中，通过定向梯度直方图 (HOG) 特征来学习子词典。然后通过l1-norm和最大选择策略重建融合图像。此外，联合稀疏表示，共解析表示，脉冲耦合神经网络 (PCNN)和shearlet变换也应用于图像融合，其中包含SR。

在表示学习领域，首次将lowrank表示 (LRR) 应用到Li等人的图像融合任务中。他们使用HOG和dictionary学习方法来获得全局字典。然后在LRR中使用字典，并通过使用l1-norm和选择最大策略获得融合的低秩系数。最后，使用全局字典和LRR重建融合图像。对于红外和可见光图像融合，Li等人还提出了一种有效且简单的基于潜在低秩表示 (LatLRR) 的算法。在这里，通过LatLRR将源图像分解为低频和高频系数，并使用加权化策略重建融合图像。
尽管这些基于表示学习的方法表现出良好的融合性能，但它们仍然存在两个主要缺点 😦 1) 很难学习基于表示学习的方法的有效词典; (2) 基于表示学习的方法的时间效率非常低，尤其是，在线词典学习策略用于融合算法时。因此，最近，融合算法在两个方面进行了改进: 时间效率和融合性能。

大多数基于深度学习的融合方法只是将深度学习视为特征提取操作，并使用固定网络获得的深度特征来重建融合图像。
Liu等人提出了一种基于卷积稀疏表示 (CSR) 的融合方法。CSR用于提取由不同字典获得的特征。此外，Liu等人还提出了一种基于卷积神经网络 (CNN) 的多焦点图像算法。包含输入图像的不同模糊版本的图像补丁用于训练网络。并通过该网络获得决策图。最后，使用决策图和源图像来重建融合图像。这两种方法的明显缺点是它们仅适用于多焦点图像融合任务。
Prabhakar等人针对曝光融合问题 (DeepFuse) 提出了一种基于CNN的简单且有效的方法。在他们的方法中，使用权重绑定的孪生网络体系结构来构造编码网络。然后通过编码获得两个特征图序列。它们通过加法策略融合在一起。最终的融合图像由包含三个CNN层的解码网络重建。该网络不仅适用于曝光融合问题，而且在其他融合任务中也取得了良好的性能。但是，体系结构过于简单，深度网络中包含的信息可能尚未得到充分利用。

因此，Li等人提出了一种基于DeepFuse和densenet 的新型融合网络，称为DenseFuse。这个融合网络包含三个部分: 编码器、融合层和解码器。编码器网络由卷积层和denseblock组合。在图像融合任务中，融合层也称为融合策略。此外，Li等人还提出了一种基于VGG的融合方法，该方法使用了深度网络和多层深度特征。首先，通过分解方法从源图像中获得基本部分和细节内容。基础部分通过加权平均策略进行融合。通过ImageNet训练的固定VGG-19网络用于从细节内容中提取多层深层特征。然后通过软最大算子和多层深特征计算权重图。通过权重图获得几个候选融合的详细内容。choose-max用于构建详细内容的最终权重图。最终的权重图用于获取融合的细节内容。最后，通过结合融合的基础部分和详细内容来重建融合图像。
尽管基于VGG的融合方法使用了中间层信息，但是多层组合方法仍然过于简单，并且在特征提取中丢失了许多有用的信息。当网络较深时，这种现象会变得更糟。

所以我们提出基于ResNet和ZCA的方法
ResNet用于从源图像中获得深层特征，由于ResNet的体系结构，深层功能已经包含多层信息，因此我们仅使用单层获得的输出。
利用ZCA操作将深度特征投影到稀疏域，并通过l1-norm操作获得初始权重图。
我们使用双三次插值（bicubic interpolation）将初始权重映射重塑为源图像大小，最终的权重图是通过soft-max运算获得的。
最后，通过最终的权重图和源图像重建融合图像。

Related Work

Deep residual network (ResNet)

He等人提出了一种新颖的网络体系结构来解决退化问题。有了快捷连接和残差表示，它们的网络比以前的网络更容易优化，并且通过增加深度提供了更好的准确性，残图所示差块如下：
请添加图片描述
X表示网络块的输入，Φ(X ) 表示包含两个权重层的网络操作，“relu” 表示整流线性单元。残差块的输出由 Φ(XX) 计算。通过这种结构，可以利用多层信息。此外，在图像重建任务中，通过应用残留块来提高性能。我们也在融合方法中使用这种架构。

Zero-phase component analysis (ZCA)

Kessy等人通过ZCA运算分析了白化和去相关。ZCA操作用于将随机向量投影到不相关的子空间中，该子空间也称为白化。在图像处理领域，ZCA是处理特征的有用工具，可以获得有用的特征以改善算法性能。我们将简要介绍ZCA操作。
请添加图片描述

ZCA utilization in image style transfer

（图像样式传输中的ZCA利用）

近年来，ZCA也被用于图像样式传输任务中，这是图像处理领域中最流行的任务之一。Li等人提出了一种通用的风格转移算法，利用ZCA操作将艺术图像的风格转移到内容图像中。编码器网络用于获取样式特征 (fs) 和内容特征 (fc)。然后作者使用ZCA操作将fs和fc投影到相同的空间中。最终传输的特征将通过着色变换方法获得，该方法是ZCA操作的反向操作。最后，通过传输的特征和解码器网络获得样式化的图像。

Lu等人在他们的风格转移方法中也使用ZCA操作。利用VGG网络提取图像特征，利用ZCA将特征投影到同一空间。然后，通过基于补丁的重新组装操作获得传输的特征。最后，传输的特征和解码器网络由MSCOCO 数据集训练，并用于重建样式图像。
从上述风格转移方法来看，ZCA是处理图像特征的强大工具，尤其是在图像重建任务中。它将图像特征投影到一个子空间中，从而使特征易于分类和重建。受这些方法的启发，我们还将ZCA操作应用于图像融合任务。

The proposed fusion method

假设有K个预注册的源图像，在我们的论文中，K = 2。请注意，对于K> 2，融合策略是相同的。源图像表示为Source k ， k∈{1,2}。框架图如下：

在这里插入图片描述
源图像指示为Source1和Source2，并且ResNet50包含50个权重层，其中包括5个卷积块 (conv1，conv2，conv3，conv4，conv5)。ResNet50是一个固定网络，由ImageNet训练，我们用它来提取深层特征。请添加图片描述

ZCA operation for deep features

正如我们前面讨论的那样，ZCA将原始功能投影到相同的空间中，并且这些功能对于下一个处理变得更加有用。下图显示了深度特征的ZCA操作
请添加图片描述
我们以包含3个残差块的conv2层的输出为例，介绍ZCA操作的影响。每个块指示输出的一个通道。原始的深层特征在每个通道中具有不同的数量级。我们使用ZCA将原始特征投影到同一空间中。这些特征变得更加显著，如上图所示 (ZCA特征)。