图像融合论文baseline及其网络模型

已于 2023-12-28 21:49:44 修改
阅读量5.8k 收藏 142
点赞数 41
分类专栏： 图像融合 文章标签： 图像处理 人工智能 深度学习 论文阅读 论文笔记
于 2023-12-17 17:46:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiexiang5396/article/details/135008772
版权

目录论文均为【顶会】【顶刊】或者【高被引】，尚未完成，待完善

加📑的代表已有阅读笔记

文章目录

2017

📑DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs

笔记链接

在这里插入图片描述

2019

📑DenseFuse: A Fusion Approach to Infrared and Visible Images

笔记链接

  • CBF, JSR, GTF, JSRSD, CNN, DeepFuse
    在这里插入图片描述

📑FusionGAN: A generative adversarial network for infrared and visible image fusion

笔记链接

  • ASR，CVT，DTCWT，FPDE，GFF，LPP，TSIFVS，GTF
    在这里插入图片描述

2020

📑(PMGI)Rethink- ing the image fusion: A fast unified image fusion network based on proportional mainte- nance of gradient and intensity

笔记链接

  • LPP (Toet 1989),
  • GTF (Ma et al.2016)
  • DDLatLRR (Li and Wu 2018a)
  • LatLRR (Li and Wu2018b)
  • FusionGAN
    在这里插入图片描述

📑U2Fusion: A Unified Unsupervised Image Fusion Network

笔记链接

  • VIF
    • HMSD , GTF, DenseFuse, FusionGAN, DDcGAN
  • PET-MRI
    • RPCNN, CNN，PAPCNN, NSCT
  • 多曝光
    • GFF [46], DSIFT, GBM, Deepfuse, FLER
  • 多聚焦
    • DSIFT, GBM, CNN, GFDF, SESF-Fuse
      在这里插入图片描述

📑IFCNN: A general image fusion framework based on convolutional neural network

笔记链接

  • GFF,LPSR,MFCNN,MECNN
    在这里插入图片描述

📑DDcGAN: A Dual-discriminator Conditional Generative Adversarial Network for Multi-resolution Image Fusion

笔记链接

  • directional discrete cosine transform and principal component analysis (DDCTPCA)
  • hybrid multi-scale decomposition (HMSD)
  • fourth-order partial differential equations (FPDE)
  • gradient transfer fusion(GTF)
  • different resolution total variation (DRTV)
  • DenseFuse
  • FusionGAN

在这里插入图片描述

📑DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion

笔记链接

  • FusionGAN,DenseFuse,ImageFuse,DeepFuse,TSIFVS, TVADMM,CSR, ADF

在这里插入图片描述

2021

📑GANMcC: A Generative Adversarial Network With Multiclassification Constraints for Infrared and Visible Image Fusion

笔记链接

  • LPP, LP，CVT ，DTCWT，GTF，CNN，FusionGAN

在这里插入图片描述

📑(MFEIF)Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion

笔记链接

  • CBF, GTF, JSRSD, DRTV, FPDE, FusionGAN, DDcGAN

在这里插入图片描述

📑RFN-Nest: An end-to-end residual fusion network for infrared and visible images

笔记链接

  • DCHWT、GTF、ConvSR、VGGML、DenseFuse、Fusiongan、IFCNN、NESTFuse、PMGI、DDCGAN和U2Fusion

在这里插入图片描述

📑SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion

笔记链接

  • ASR, PCA, NSCT, CNN, GTF, MDLatLRR, DenseFuse, FusionGAN, U2Fusion
    在这里插入图片描述

2022

📑SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images

笔记链接

  • MDLatLRR、IFCNN、DenseFuse、RFN-Nest、FusionGAN、GANMcC、PMGI、SEDRFuse、Res2Fusion

在这里插入图片描述

📑(DeFusion)Fusion from decomposition: A self-supervised decomposition approach for image fusion

笔记链接

  • MEF
    • CU-Net、U2Fusion、IFCNN、PMGI，DeepFuse、MEFNet
  • MFIF
    • CU-Net， U2Fusion， IFCNN ， PMGI， MFFGAN
  • VIF
    • U2Fusion， IFCNN ， FusionGAN, PMGI
      在这里插入图片描述

📑ReCoNet: Recurrent Correction Network for Fast and Efficient Multi-modality Image Fusion

笔记链接

  • DenseFuse, FusionGAN, RFN , GANMcC, MFEIF , PMGI , DIDFuse and U2Fusion
    在这里插入图片描述

📑PIAFusion: A progressive infrared and visible image fusion network based on illumination aware

笔记链接

  • two traditional methods, i.e.
    • GTF, MDLatLRR,
  • three AE-based method, i.e.,
    • DenseFuse, DRF, CSF
  • one GAN-based methods, i.e.,
    • FusionGAN
  • three CNN-based methods, i.e.,
    • IFCNN , PMG, U2Fusion
      在这里插入图片描述

📑SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer

笔记链接

  • GTF ，DenseFuse ，FusionGAN ，IFCNN ，PMGI ，SDNet，U2Fusion
    在这里插入图片描述

2023

📑Dif-fusion: Towards high color fidelity in infrared and visible image fusion with diffusion models

笔记链接

  • FusionGAN, SDDGAN, GANMcC, SDNet, U2Fusion, TarDAL

📑LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images

笔记链接

  • DenseFuse， FusionGAN， IFCNN， CUNet， RFN-Nest， Res2Fusion， YDTR， SwinFusion，U2Fusion
    在这里插入图片描述

📑CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion

笔记链接

  • DIDFuse, U2Fusion , SDNet, RFNet, TarDAL, DeFusion， ReCoNet.
    在这里插入图片描述

📑CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion

笔记链接

  • DenseFuse, FusionGAN, PMGI，DIDFuse , GANMcC , RFN, MFEIF, U2Fusion, SwinFusion, SDNet, SMoA，arDAL

在这里插入图片描述

🚀传送门

📑图像融合相关论文阅读笔记

📑[Dif-fusion: Towards high color fidelity in infrared and visible image fusion with diffusion models]
📑[CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion]
📑[LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images]
📑[(DeFusion)Fusion from decomposition: A self-supervised decomposition approach for image fusion]
📑[ReCoNet: Recurrent Correction Network for Fast and Efficient Multi-modality Image Fusion]
📑[RFN-Nest: An end-to-end resid- ual fusion network for infrared and visible images]
📑[SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images]
📑[SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer]
📑[(MFEIF)Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion]
📑[DenseFuse: A fusion approach to infrared and visible images]
📑[DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pair]
📑[GANMcC: A Generative Adversarial Network With Multiclassification Constraints for IVIF]
📑[DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion]
📑[IFCNN: A general image fusion framework based on convolutional neural network]
📑[(PMGI) Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity]
📑[SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion]
📑[DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion]
📑[FusionGAN: A generative adversarial network for infrared and visible image fusion]
📑[PIAFusion: A progressive infrared and visible image fusion network based on illumination aw]
📑[CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion]
📑[U2Fusion: A Unified Unsupervised Image Fusion Network]
📑综述[Visible and Infrared Image Fusion Using Deep Learning]

📚图像融合论文baseline总结

📚[图像融合论文baseline及其网络模型]

📑其他论文

[3D目标检测综述：Multi-Modal 3D Object Detection in Autonomous Driving：A Survey]

🎈其他总结

🎈[CVPR2023、ICCV2023论文题目汇总及词频统计]

✨精品文章总结

✨[图像融合论文及代码整理最全大合集]
✨[图像融合常用数据集整理]

如有疑问可联系：420269520@qq.com;
码字不易，【关注，收藏，点赞】一键三连是我持续更新的动力，祝各位早发paper，顺利毕业~

【图像拼接（Image Stitching）】关于【图像拼接论文精读】专栏的相关说明，包含专栏使用方法、阅读顺序、创新思路、文章汇总、源码汇总、数据集汇总等。总之，【图像拼接论文相关】看这一篇就够了
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
11-30 3万+
为什么会有这篇文章？因为专栏简介里写不下太多东西，只能通过这篇文章和大家交流，算是一个专栏阅读指南吧。说点心里话本来吧，我只想用CSDN来记录自己学习【图像拼接】领域论文的过程，对每篇文章有个细致的理解，方便自己反复查阅。设置为付费也是因为涉及论文和本人其他项目需要，防止查重和其他问题，所以价格最开始设置的是专栏付费价格里最高的。起初，确实没有人看，一切也都平淡地度过着。
【图像超分】论文精读：Boosting Flow-based Generative Super-Resolution Models via Learned Prior（BFSR）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
08-15 315
论文题目：Boosting Flow-based Generative Super-Resolution Models via Learned Prior —— 通过学习先验提高基于流的生成超分辨率模型CVPR 2024！基于流的超分辨率(SR)模型在生成高质量的图像方面表现出了惊人的能力。然而，由于采样温度固定，这些方法在图像生成过程中遇到了一些挑战，例如网格伪影、爆炸逆和次优结果。为了克服这些问题，这项工作在基于流的 SR 模型的推理阶段之前引入了一个条件学习。
PMGI_AAAI2020:重新思考图像融合的纸张代码
05-04
PMGI_AAAI2020 重新思考图像融合的论文代码：基于梯度和强度的比例维护的快速统一图像融合网络。 这项工作使用相同的网络结构和相同形式的损失函数来实现红外和可见光图像融合，多次曝光图像融合，医学图像融合，多焦点图像融合和泛锐化。 可以在找到所有数据集。 如果这项工作对您有帮助，请引用为： @inproceedings{zhang2020rethinking, title={Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity}, author={Zhang, Hao and Xu, Han and Xiao, Yang and Guo, Xiaojie and Ma, Jia
图文融合模型(续) and VQA过往简述
weixin_42455006的博客
05-20 1515
一.ALBEF(对比学习用cosine对一个batch的样本做个交叉熵) 思考点1 图文对比学习可以用相似度吗，就CLIP和FLIP那样的，或者不是单纯交叉熵，可以用focal loss或者一些别的，比如说根据多模态贡献度来决定各个损失更新方向，【参考cvpr 2022 oral的一篇论文：多模态学习中的贡献不平衡问题】 本文是维护了两个队列来存储动量单模态编码器的最新的M个图像-文本表示 动态模型各个特征归一化，代替原本模型的特征计算概率分布 H是交叉熵函数，也可以看成InfoNCE，即负对数
详解这场图片分类赛baseline，赢取官方人才认证+奖金
3D视觉工坊
09-26 257
1 赛题背景为进一步加快“6+5+6+1”西安现代产业以及养老服务等行业领域急需紧缺高技能人才培养，动员广大职工在迎十四运创文明城、建设国家中心城市、助力西安新时代追赶超越高质量发展中展现...
CSS——img的baseline问题
spfLinux的博客
11-09 1634
部分代码如下： 青莲剑仙-李白 效果： 可以看到图片和下面之间有一道缝，这是因为img的默认对齐方式为(vertical-align:baseline)。 修改成vertical-align:bottom即可： img { vertical-align: baseline; }
图像分类竞赛baseline——以智能硬件语音控制的时频图分类挑战赛为例
m0_63642362的博客
08-13 266
基于飞桨深度学习框架的图像分类竞赛baseline，提供了基础API训练、K折交叉验证和高级API训练三种方式。
【图像去噪】论文精读：Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware Adversarial Train
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
11-11 283
请先看【专栏介绍文章】：【图像去噪（Image Denoising）】关于【图像去噪】专栏的相关说明，包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总（更新中）论文题目：Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware Adversarial Training —— 学习通过像素级噪声感知对抗训练生成逼真的噪声图像论文地址：Learning to Ge
【红外与可见光图像融合】Infrared and visible image fusion based on a two-stage class conditioned auto-encoder ne
learnererer的博客
04-18 814
本文提到一些方法使用共享编码器从源图像中提取特征，并且采取手工制作的融合策略。我们的目的是让编码器从，因此我们在编码器中引入了类嵌入分支，对不同模态的特征进行建模，并根据输入模态自适应缩放中间特征。融合策略方面，使用了通道和空间注意力机制对不同模态的特征图进行加权。训练思路与RFN-NEST相同，两阶段训练，损失不同。代码不公开发表自Neurocomputing 2023。
【图像拼接】论文精读：STREAMLINING THE IMAGE STITCHING PIPELINE: INTEGRATINGFUSION AND RECTANGLING INTO A UNIFI
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-30 1263
基于学习的图像拼接技术通常涉及三个不同的阶段：配准、融合和矩形。这些阶段通常是按顺序执行的，每个阶段都是独立训练的，导致潜在的级联错误传播和复杂的参数调整挑战。在重新思考融合和矩形阶段的数学建模时，我们发现这些过程可以有效地组合成一个单一的、各种强度的修复问题。因此，我们提出了一种有效的无训练图像拼接方法Simple和Robust Stitcher (SRStitcher)，将融合阶段和矩形阶段合并为一个统一的模型。通过使用加权掩码和大规模生成模型，SRStitcher 可以在单个推理中解决融合和矩形问题，
重新思考图像融合：快速统一的图像融合基于梯度和强度比例保持的网络（PMGI）
weixin_43690932的博客
10-03 752
仅供自己进行理解
图像融合论文阅读：(PMGI)一种基于梯度与强度比例保持的快速统一图像融合网络
图像强的博客
12-19 2385
（和SDNet思想非常非常相似，毕竟两篇论文是前世今生） 作者提出了一种基于【梯度和强度的比例维持】（proportional maintenance of gradient and intensity，PMGI）的【端到端】的【多任务图像融合】网络。 图像融合问题可以统一视为源图像【梯度】【强度】的比例维护问题。 网络分为两条路：梯度路径负责提取高频纹理信息，强度路径负责源图像像素强度信息的提取。 加入了特征重用（即DenseNet的密集连接）和信息交换操作。 损失函数由梯度损失项和强度损失项构成。
图像融合
Zetropy
06-20 9387
图像融合 所有本文中提到的算法实现下载，Github。
街景字符识别baseline
qq_38896666的博客
05-20 625
街景字符识别 赛题理解与解决方案 题目要求：给定一张街景字符图片，能够正确识别出其中的数字字符。 根据题目的要求可以分为三种思路： 定长字符识别： 由于图片中的数字字符最多不会超过6个，因此可以将问题视为一个定长字符问题。我们需要将数据中的label填充为6位，不存在数字的位置填充为X，因此最终的问题就是6个字符的分类问题，一共分为11个类别，若识别为X，则表示该位置没有数字。 不定长字符识别问题： 利用字符识别模型直接进行不定长字符识别。 目标检测问题： 利用YOLO、SSD等目标检测算法先检
图像融合论文阅读：（TLGAN）Boosting target-level IVIF with regional information coordination
图像强的博客
03-25 1706
现有的方法【倾向于评估全局信息】，忽略了【特征提取过程中】对【特定目标信息】的保留，导致了一定程度的信息丢失。 为了解决这个问题，作者提出了一种【目标级】的IVIF方法，通过【场景纹理关注模块】增强全局信息的互补描述，通过利用加入【目标级损失函数】的【目标提取模块】保留目标区域特征，并通过【目标-场景信息损失函数】的协调，实现了目标信息和场景信息的均衡。
多源图像融合——U2Fusion
lijiamingccc的博客
03-24 1390
这项研究提出了一种新颖的统一的无监督端到端图像融合网络，称为 U2Fusion，能够解决不同的融合问题，包括多模态、多曝光和多焦点情况。利用特征提取和信息测量，U2Fusion 自动估计相应源图像的重要性，并提出自适应的信息保留度。因此，不同的融合任务在同一框架中统一处理。基于自适应度量，训练一个网络以保持融合结果与源图像之间的自适应相似性。因此，通过避免在顺序地为不同任务训练单个模型时丢失先前融合能力，我们获得了一个适用于多个融合任务的统一模型。
计算机视觉-计算机视觉知识点整理2模型篇
shanzsz的博客
06-09 939
一.常见目标检测网络 1.FasterRCNN （重要度★★★★★） 模型名称 记忆点 备注 Faster-RCNN 网络结构图 anchor是怎样放置的？ 首先按照3种不同的尺度和3种不同的宽高比生成9个anchor，坐标排列是以原点为中心的左上右下相对量。 生成和feature map的w,h一样的gird网格，得到每个网格点的中心坐标。 把9个anchor分别加到网格点中心坐标上，因此得到了所有anchor位置的坐标。
【阅读笔记】U2Fusion: A Unified Unsupervised Image Fusion Network
qq_48815614的博客
03-30 530
本研究提出了一种新的统一的无监督端到端图像融合网络，称为U2Fusion，它能够解决包括多模态、多曝光和多焦点情况在内的不同融合问题。U2Fusion通过特征提取和信息测量，自动估计相应源图像的重要程度，并给出自适应的信息保存度。因此，不同的融合任务统一在同一个框架中。基于自适应程度，训练网络以保持融合结果与源图像之间的自适应相似性。通过避免对不同任务连续训练单个模型时原有融合能力的丧失，得到了一个适用于多个融合任务的统一模型。此外，还发布了一个新的红外和可见光图像数据集RoadScene(可在。
Dual-Domain Generative Adversarial Network for Digital Image Operation Anti-Forensics
weixin_49171105的博客
11-13 1032
本文提出了一种的通用数字图像操作反取证框架，称为，为了解决问题，提出的框架结合了操作特定的取证特征和机器学习的知识，以确保生成的图像对各种检测器表现出更不好的不可检测性能。DDGAN由组成，例如，从目标任务的取证分析角度来看，通过中值滤波和JPEG压缩反取证实验，证明了所提出的方法在和优于现在的方法。
NestFuse代码
最新发布
04-03
<think>好的，我现在需要处理用户关于NestFuse的代码实现和示例的查询。首先，用户提到了参考引用[1]，里面提到了RFN-Nest的官方和修改后的代码库。用户可能希望找到与NestFuse相关的资源，但需要注意NestFuse和RFN-Nest是否为同一项目，或者是否有联系。 首先，我需要确认NestFuse和RFN-Nest的关系。根据引用内容，用户提供的链接是关于RFN-Nest的，而用户询问的是NestFuse。可能这两者是不同的项目，或者NestFuse是RFN-Nest的一部分？需要进一步验证。 接下来，我应该检查用户提供的链接，看看是否有提到NestFuse。例如，官方开源的RFN-Nest仓库是否包含NestFuse的实现。另外，用户提供的修改后的代码库地址可能需要查看是否有相关的内容。如果NestFuse是另一个项目，可能需要寻找其他资源。 如果发现NestFuse和RFN-Nest是相关项目，或者后者是前者的改进版本，那么可以引导用户到这些仓库查找代码。如果两者无关，可能需要建议用户提供更多信息，或者转向其他常见的资源，如GitHub搜索、论文代码仓库等。 此外，用户可能希望得到具体的实现步骤或示例代码，因此需要确保提供的链接确实包含相关代码，并指导用户如何准备数据集和进行训练，如引用中提到的数据格式转换步骤。 还要注意用户可能需要多卡训练的修改，这在提供的代码库中是否有说明。需要确认代码库的文档或README是否有相关说明，以便在回答中提及。 最后，生成相关问题，帮助用户深入探讨，比如优化方法、应用场景等，但需确保问题与NestFuse相关。</think>关于NestFuse的代码实现，根据引用资料显示，其改进版本RFN-Nest已在GitHub开源。以下是实现细节和使用方法： ### 代码获取 1. 官方基础版本：访问$hli1221/imagefusion-rfn-nest$获取原始实现 2. 改进版本代码库： ```bash git clone https://github.com/shineber/AAAI_2024_Contest ``` 该版本包含多卡训练支持，采用PyTorch框架实现[^1] ### 关键实现模块 ```python # 典型的多尺度特征提取结构 class NestFuse(nn.Module): def __init__(self): self.encoder = ResNetBackbone() # 残差网络编码 self.fusion = AttentionFusion() # 注意力融合模块 self.decoder = TransposedConvDec() # 转置卷积解码 ``` ### 数据准备 需将输入图像转换为HDF5格式： ``` dataset/ ├── train/ │ ├── infrared/ │ └── visible/ └── val/ ├── infrared/ └── visible/ ``` 使用提供的$tools/preprocess.py$进行格式转换 ### 训练配置 ```yaml # configs/base.yaml train: batch_size: 16 lr: 1e-4 multi_gpu: True # 启用多卡训练 fusion: method: 'weighted' # 可选attention/residual ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

图像强

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值