一.简介
ResNet是residual network(残差网络)的缩写,论文《Infrared and Visible Image Fusion with ResNet and zero-phase component analysis》。https://github.com/hli1221/imagefusion_resnet50github.com
论文中,作者探讨了传统的图像融合的方法,基于MSD(multi-scale decompsition)方法的,基于SR(spatial representation)方法的,包括近几年神经网络的发展,借助于神经网络的(DLF,DeepFuse, DenseFuse)等,作者提到(DeepFuse,DenseFuse)网络结构过于简单,隐藏在深层的信息没用被用到,所以作者提出了本文的方法。hli1221/imagefusion_resnet50 论文中,作者探讨了传统的图像融合的方法,基于MSD(multi-scale decompsition)方法的,基于SR(spatial representation)方法的,包括近几年神经网络的发展,借助于神经网络的(DLF,DeepFuse, DenseFuse)等,作者提到(DeepFuse,DenseFuse)网络结构过于简单,隐藏在深层的信息没用被用到,所以作者提出了本文的方法。
作者的方法主要分为三个步骤:1)使用ResNet-50提取原始图像的深度特征;2)使用ZCA来标准化深度特征,并生成初始权重,然后使用softmax操作结合初始化权重得到最终的权重;3)使用加权平均的策略对原始图像进行融合。算法结构图