An infrared and visible image fusion algorithm based on ResNet‑152

An infrared and visible image fusion algorithm based on ResNet‑152

学习笔记 文章日期2021.9

摘要：

经过红外线和可见光融合的图像可以同时包含隐藏对象和丰富的可见细节。为了降低图像失真和噪声，提升细节。一种红外线和可见光图片融合基于ResNet152的方法被提出。
第一步：图像被分成低频和高频部分，低频部分通过平均加权策略处理
第二步，多层特征通过高频部分被ResNet-152网络抽取
（L1正则化，卷积操作，双线性插值采样，最大选择策略）在特征层去包含最大权重层
最大权重层✖高频作为新的高频部分。
最终融合图片被重构为低频部分和高频部分
试验表明提出的方法能够包含更多的图像纹理细节通过保留显著特征。
并且可以减少失真和噪声。
客观评价和视觉观察的一致性表现优越 — 同比较算法

简介：

图像融合作为图像增强技术，方法是结合不同种类的传感器去生成一个单一的图像，其含有更多的信息和细节。
图像融合可以为计算机视觉和其他研究领域提供信息。可见光和红外线的相互作用、反射、和透射模式是非常不同的
红外线图像通过捕捉热辐射，可见光图像是光学。
可见光图像分辨率高于红外图像但是容易受到照明、雾和其他恶劣的天气条件，分别率和质感差。
红外和可见光图像的图像融合方法有多种，如多尺度变换、稀疏表示和神经网络。
多尺度变换：基于曲线变换和视觉注意机制，能够有效提高图像信