resnet网络结构_融合算法九---ResNet

一.简介

ResNet是residual network(残差网络)的缩写，论文《Infrared and Visible Image Fusion with ResNet and zero-phase component analysis》。

https://github.com/hli1221/imagefusion_resnet50​github.com

论文中，作者探讨了传统的图像融合的方法，基于MSD（multi-scale decompsition）方法的，基于SR（spatial representation）方法的，包括近几年神经网络的发展，借助于神经网络的（DLF，DeepFuse， DenseFuse）等，作者提到（DeepFuse，DenseFuse）网络结构过于简单，隐藏在深层的信息没用被用到，所以作者提出了本文的方法。hli1221/imagefusion_resnet50 论文中，作者探讨了传统的图像融合的方法，基于MSD（multi-scale decompsition）方法的，基于SR（spatial representation）方法的，包括近几年神经网络的发展，借助于神经网络的（DLF，DeepFuse， DenseFuse）等，作者提到（DeepFuse，DenseFuse）网络结构过于简单，隐藏在深层的信息没用被用到，所以作者提出了本文的方法。

作者的方法主要分为三个步骤：1）使用ResNet-50提取原始图像的深度特征；2）使用ZCA来标准化深度特征，并生成初始权重，然后使用softmax操作结合初始化权重得到最终的权重；3）使用加权平均的策略对原始图像进行融合。

算法结构图

二.算法详解

2.1 特征提取

上图中，原始图片包含图片1和图片2，使用已经在ImageNet上训练过的ResNet50网络（50层，包含5个卷积快，conv1,...conv5），第

层的输出用

表示，

表示原始图片，

代表的是通道，这一步，套用ResNet50网络就可以得到。

2.2 权重计算

使用ZCA与L1-norm的方法来获取权重矩阵，作者在文中使用了

来计算权重。

ZCA

计算协方差矩阵，并使用SVD对协方差矩阵进行分解，

代表通道：

计算使用ZCA去相关性后的的

计算得到所有通道的

后，选择窗口

，大小为5*5，对

进行L1-norm平均：

在得到

，

，后使用softmax计算权重，然后使用bicubic插值算法进行上采样，得到和原图像大小一致的权重矩阵：

2.3 重建图像

得到权重矩阵后，使用加权平均的策略，对原始的两幅图像进行加权平均：

不同网络之间的对比

不同标准化方式之间的对比

不同融合方法之间的对比

三.总结

本文使用了残差网络和ZCA算法对红外图像、可见光图像进行融合，在一些性能指标上优于一些其他的算法，在实际使用中，需要使用GPU对ResNet50网络进行加速以减少计算的时间。