图像融合论文阅读：Dif-fusion: Towards high color fidelity in infrared and visible image fusion with diffusion

已于 2023-12-28 17:08:31 修改
阅读量1.3k 收藏 22
点赞数 31
分类专栏： 图像融合 文章标签： 论文阅读 深度学习 图像融合 图像处理 人工智能 论文笔记
于 2023-12-28 17:08:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiexiang5396/article/details/135266918
版权

@article{yue2023dif,
title={Dif-fusion: Towards high color fidelity in infrared and visible image fusion with diffusion models},
author={Yue, Jun and Fang, Leyuan and Xia, Shaobo and Deng, Yue and Ma, Jiayi},
journal={arXiv preprint arXiv:2301.08072},
year={2023}
}

论文级别：-
影响因子：-

📖[论文下载地址]
💽[代码下载地址]

文章目录

📖论文解读

以往的VIF网络将多通道图像转换为单通道图像，忽略了【颜色保真】，为了解决这个问题，作者提出了【基于扩散模型】的图像融合网络【Dif-Fusion】，在具有正向扩散和反向扩散的潜在空间中，使用降噪网络【建立多通道数据分布】，然后降噪网络【提取】包含了可见光信息和红外信息的【多通道扩散特征】，最后将扩散特征输入多通道融合模块生成三通道的融合图像。

🔑关键词

Image fusion, color fidelity, multimodal information, diffusion models, latent representation, deep generative
model.
图像融合，颜色保真度，多模态信息，扩散模型，潜在表示，深度生成模型

💭核心思想

将源图像通道拼接，输入扩散模型，然后从扩散模型中提取扩散特征，通过多通道的扩散特征，输入多通道融合网络中恢复出多通道的融合图像

参考链接
[什么是图像融合？（一看就通，通俗易懂）]

🪢网络结构

作者提出的网络结构如下所示。
在这里插入图片描述
在这里插入图片描述

📉损失函数

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

🔢数据集

图像融合数据集链接
[图像融合常用数据集整理]

🎢训练设置

🔬实验

📏评价指标

  • MI
  • VIF
  • SF
  • Qabf
  • SD

参考资料
[图像融合定量指标分析]

🥅Baseline

  • FusionGAN, SDDGAN, GANMcC, SDNet, U2Fusion, TarDAL

✨✨✨参考资料
✨✨✨强烈推荐必看博客[图像融合论文baseline及其网络模型]✨✨✨

🔬实验结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

更多实验结果及分析可以查看原文：
📖[论文下载地址]
💽[代码下载地址]

🚀传送门

📑图像融合相关论文阅读笔记

📑[LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images]
📑[(DeFusion)Fusion from decomposition: A self-supervised decomposition approach for image fusion]
📑[ReCoNet: Recurrent Correction Network for Fast and Efficient Multi-modality Image Fusion]
📑[RFN-Nest: An end-to-end resid- ual fusion network for infrared and visible images]
📑[SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images]
📑[SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer]
📑[(MFEIF)Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion]
📑[DenseFuse: A fusion approach to infrared and visible images]
📑[DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pair]
📑[GANMcC: A Generative Adversarial Network With Multiclassification Constraints for IVIF]
📑[DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion]
📑[IFCNN: A general image fusion framework based on convolutional neural network]
📑[(PMGI) Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity]
📑[SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion]
📑[DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion]
📑[FusionGAN: A generative adversarial network for infrared and visible image fusion]
📑[PIAFusion: A progressive infrared and visible image fusion network based on illumination aw]
📑[CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion]
📑[U2Fusion: A Unified Unsupervised Image Fusion Network]
📑综述[Visible and Infrared Image Fusion Using Deep Learning]

📚图像融合论文baseline总结

📚[图像融合论文baseline及其网络模型]

📑其他论文

📑[3D目标检测综述：Multi-Modal 3D Object Detection in Autonomous Driving：A Survey]

🎈其他总结

🎈[CVPR2023、ICCV2023论文题目汇总及词频统计]

✨精品文章总结

✨[图像融合论文及代码整理最全大合集]
✨[图像融合常用数据集整理]

如有疑问可联系：420269520@qq.com;
码字不易，【关注，收藏，点赞】一键三连是我持续更新的动力，祝各位早发paper，顺利毕业~

图像强
关注
  • 31
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Dif-Fusion: Towards High Color Fidelity in Infrared and Visible Image Fusion with Diffusion Models
xcy2014117129的博客
02-03 911
尽管现有的基于深度学习的融合方法能够实现令人满意的性能，但是仍有一些问题需要考虑：首先，现有的方法主要集中在如何保持红外图像的热目标以及可见光图像的背景纹理结构，而很少关注如何保留可见光的颜色信息。解决了现有的方法大多集中在融合可见光图像中的纹理/梯度和红外图像中的强度，而不注意颜色信息的保存和多通道互补信息的提取。红外与可见光的融合方法包括传统方法和基于深度学习的方法，其中传统方法包括基于稀疏表示的方法、基于多尺度变换的方法、基于子空间的方法、基于显著性检测的方法以及混合方法。的三个RGB通道，I。
Faster R-CNN: Towards Real-Time Object Detection with Region
04-06
Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks翻译
Self-Distillation: Towards Efficient and Compact Neural Networks
01-15
【论文速递】TPAMI2022 - 自蒸馏：迈向高效紧凑的神经网络 在过去的几年里，深度神经网络取得了显著的成就。然而，神经网络精度的突破总是伴随着计算和参数的爆炸式增长，这导致了模型部署的严重限制。在本文中，我们提出了一种名为自蒸馏的新型知识蒸馏技术来解决这个问题。自蒸馏在神经网络的不同深度附加了几个注意力模块和浅层分类器，并将知识从最深的分类器提炼到较浅的分类器。与传统的知识蒸馏方法不同，教师模型的知识转移到另一个学生模型中，自我蒸馏可以被视为同一模型中的知识转移 - 从深层到浅层。此外，自蒸馏中的附加分类器允许神经网络以动态方式工作，从而导致更高的加速度。实验表明，自蒸馏在各种神经网络和数据集上具有一致且显著的有效性。平均而言，在CIFAR100和ImageNet上观察到3.49%和2.32%的精度提升。此外，实验表明，自蒸馏可以与其他模型压缩方法相结合，包括知识蒸馏、修剪和轻量级模型设计。
BKI: Towards Accountable and Decentralized Public-Key Infrastructure with Blockchain
02-21
BKI: Towards Accountable and Decentralized Public-Key Infrastructure with Blockchain
3D-RCNN: Instance-level 3D Object Reconstruction via Render-and-Compare
07-04
We present a fast inverse-graphics framework for instance-level 3D scene understanding. We train a deep convolutional network that learns to map image regions to the full 3D shape and pose of all object instances in the image. Our method produces a compact 3D representation of the scene, which can be readily used for applications like autonomous driving. Many traditional 2D vision outputs, like instance segmentations and depth-maps, can be obtained by simply rendering our output 3D scene model. We exploit class-specific shape priors by learning a low dimensional shape-space from collections of CAD models. We present novel representations of shape and pose, that strive towards better 3D equivariance and generalization. In order to exploit rich supervisory signals in the form of 2D annotations like segmentation, we propose a differentiable Render-and-Compare loss that allows 3D shape and pose to be learned with 2D supervision. We evaluate our method on the challenging real-world datasets of Pascal3D+ and KITTI, where we achieve state-of-the-art results.
Dif-Fusion/ Towards High Color Fidelity in Infrared and Visible Image Fusion with Diffusion Models
m0_47005029的博客
07-27 636
颜色在人类视觉感知中起着重要作用，反映了物体的光谱。然而，现有的红外和可见图像融合方法很少探索如何直接处理多光谱/通道数据并实现高颜色保真度。本文通过提出一种新的扩散模型方法，称为DifFusion，来生成多通道输入数据的分布，从而增强多源信息聚合能力和颜色保真度。具体而言，我们，而是在潜在空间中，并进行正向和反向扩散过程。然后，我们使用去噪网络提取具有可见光和红外信息的多通道扩散特征。最后，我们将多通道扩散特征输入多通道融合模块，直接生成三通道融合图像。
【读论文】DIVFusion: Darkness-free infrared and visible image fusion
就很有趣的博客
11-22 4435
博主看到的首篇实现图像增强亮度的文章，收益颇丰
DIVFusion:首个耦合互促低光增强&图像融合的框架
fovever_的博客
11-15 5744
最近Information Fusion接收了一篇题为《DIVFusion: Darkness-free infrared and visible image fusion》的文章。在此之前，图像融合领域一直徘徊在利用互补信息，设计loss，引入新的融合规则等。但是忽视了低光场景下可见光信息退化的问题，这将严重影响互补信息的聚合，也即产生不佳的融合结果。 DIVFusion一文中给出了一个很新的思想来解决低光下的融合问题，即是耦合互促低光增强与融合，以获得良好视觉感知的融合图像。
iSelf: Towards Cold-Start Emotion Labeling Using Transfer Learning with Smartphones
02-07
iSelf: Towards Cold-Start Emotion Labeling Using Transfer Learning with Smartphones
【论文精读CVPR_2020(Oral)】FaceShifter: Towards High Fidelity And Occlusion Aware Face Swapping
zik的博客
06-03 1100
AEI-Net首先提取源脸身份特征和多尺度的目标脸属性特征，然后输入级联的AAD ResBlk，也就是生成器来生成第一阶段的换脸图像YstYst​。其中用到了对抗损失，也即是GAN的训练方法。然后是利用HEAR-Net第二阶段来来处理人脸的遮挡，idea来自目标图像与目标图像的重构图像（第一阶段生成的结果）直接的差异意味着异常发生的位置，也就是遮挡。四个关键点源脸的形状，目标的照明和图像分辨率，遮挡处理。缩写全拼AAD。
[CVPR2020]Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using Graph
wrk226的博客
02-04 444
这篇文章也是解决从一张2D图到3D人脸精细重建的问题的。 文章自称是第一个将图神经网络用于3D人脸重建的。并且说自己的模型不需要精细的人脸纹理做监督，只需要随便的人脸图片就行。 结构如图所示，黄色的部分都是用的别人已经训练好的模型，灰色的是不可训练的，蓝色的就是需要训练的部分。 模型分为三个部分： 1.3DMM参数回归和粗粒度的纹理提取，这就是regressor这一部分一直到R图的流程，和经典的训练流程完全一致，就是预测3DMM的光照，位姿，形状，表情和纹理参数，然后用可微渲染器渲染出最终图像。
Towards High-Fidelity 3D Face Reconstruction from In-the-Wild Images Using GCN
qq_43420530的博客
07-15 722
简介 2019年的GANFit方法，第一次使用了GAN网络去生成高保真的人脸纹理图，训练好GAN之后，通过可微渲染去优化latent code。缺点便是训练GAN网络需要大量的人脸纹理图，而这些图像获取是很困难的。 贡献如下： 提出了一个由粗到细的框架，重建高保真的面部纹理图，解决了之前方法的需要大量纹理图数据的问题 第一次将GCN应用在高保真面部纹理重建上，取得较好的效果 ...
论文阅读：The Unreasonable Ineffectiveness of the Deeper Layers 层剪枝与模型嫁接的“双生花”
温染的笔记
05-10 738
作者实证研究了针对流行的开放式预训练 LLM 系列的简单层修剪策略，发现在不同的 QA 基准上，直到去掉一大部分（最多一半）层（Transformer 架构）后，性能的下降才会降到最低。为了修剪这些模型，作者通过考虑各层之间的相似性来确定要修剪的最佳层；然后，为了“治愈”损伤，进行了少量的微调。特别是 PEFT 方法，尤其是量化和低秩适配器（QLoRA），这样每个实验都可以在单张 A100 GPU 上完成。
TDN: Temporal Difference Networks for Efficient Action Recognition 论文阅读
weixin_44609958的博客
05-10 1178
时间建模在视频动作识别中仍然是一个具有挑战性的问题。为了缓解这个问题，本文提出了一种新的视频架构，称为Temporal Difference Network（TDN），重点是捕获多尺度的时间信息以实现高效的动作识别。我们TDN的核心是通过明确利用时间差分算子设计一个高效的时间模块（TDM），并系统评估其对短期和长期运动建模的影响。为了完全捕获整个视频的时间信息，我们的TDN采用了两级差分建模范式。
【论文阅读笔记】HermesSim（Code is not Natural Language） (Security 24)
Yuhan2001的CSDN博客
05-12 660
论文：《Code is not Natural Language: Unlock the Power of Semantics-Oriented Graph Representation for Binary Code Similarity Detection》 仓库：https://github.com/NSSL-SJTU/HermesSim
论文阅读笔记：Equivariant Multi-Modality Image Fusion
HollowKnight的博客
05-16 540
论文阅读笔记：Equivariant Multi-Modality Image Fusion
论文阅读- Stylometric Detection of AI-Generated Text inTwitter Timelines
最新发布
qq_40671063的博客
05-16 706
预训练语言模型的最新进展为大规模生成类人文本提供了方便的方法。尽管这些生成能力在突破性应用方面具有巨大潜力，但它也可能成为对手生成错误信息的工具。特别是，像推特这样的社交媒体平台非常容易受到人工智能产生的错误信息的影响。一个潜在的威胁场景是当对手劫持了一个可信的用户帐户，并在公司内部使用自然语言生成器来生成错误信息。这种威胁需要在给定用户的推特时间轴上对人工智能生成的推文进行自动检测器。然而，推文本身就很短，因此，
Attention-based Convolutional Neural Networks for Sentence Classification 论文阅读
weixin_44609958的博客
05-16 754
句子分类是口语理解（SLU）和自然语言处理（NLP）中的基础任务之一。在本文中，我们提出了一种新颖的带注意力机制的卷积神经网络（CNN），以提高句子分类的性能。在传统的CNN中，很难有效地编码长期的上下文信息和非连续词之间的关联。相反，我们基于注意力的CNN能够捕获每个词的这些信息，而无需任何外部特征。我们在各种公共和内部数据集上进行了实验。实验结果表明，我们提出的模型明显优于传统的CNN模型，并且在利用丰富的句法特征的模型中取得了竞争性能。
faster r-cnn: towards real-time object detection with region proposal networks
06-28
### 回答1： Faster R-CNN是一种基于区域建议网络（Region Proposal Networks，RPN）的物体检测算法，旨在实现实时物体检测。它通过预测每个区域是否含有物体来生成候选框，并使用卷积神经网络（CNN）来确定候选框中的物体类别。Faster R-CNN在提高检测精度的同时，也显著提高了检测速度。 ### 回答2： 在计算机视觉领域中，目标检测一直是热门研究的方向之一。近年来，基于深度学习的目标检测方法已经取得了显著的进展，并且在许多实际应用中得到了广泛的应用。其中，Faster R-CNN 是一种基于区域建议网络（Region Proposal Networks，RPN）的目标检测方法，在检测准确率和速度之间取得了很好的平衡，能够实现实时目标检测。 Faster R-CNN 的基本框架由两个模块组成：区域建议网络（RPN）和检测模块。RPN 主要负责生成候选目标框，而检测模块则利用这些候选框完成目标检测任务。具体来说，RPN 首先在原始图像上以多个尺度的滑动窗口为基础，使用卷积网络获取特征图。然后，在特征图上应用一个小型网络来预测每个位置是否存在目标，以及每个位置的目标边界框的坐标偏移量。最终，RPN 根据预测得分和位置偏移量来选择一部分具有潜在对象的区域，然后将这些区域作为候选框送入检测模块。 检测模块的主要任务是使用候选框来检测图像中的目标类别和位置。具体来说，该模块首先通过将每个候选框映射回原始图像并使用 RoI Pooling 算法来获取固定大小的特征向量。然后，使用全连接神经网络对这些特征向量进行分类和回归，以获得每个框的目标类别和精确位置。 相比于传统的目标检测方法，Faster R-CNN 具有以下优点：首先，通过使用 RPN 可以自动生成候选框，避免了手动设计和选择的过程；其次，通过共享卷积网络可以大大减少计算量，提高效率；最后，Faster R-CNN 在准确率和速度之间取得了很好的平衡，可以实现实时目标检测。 总之，Faster R-CNN 是一种高效、准确的目标检测方法，是深度学习在计算机视觉领域中的重要应用之一。在未来，随着计算机视觉技术的进一步发展，Faster R-CNN 这类基于深度学习的目标检测方法将会得到更广泛的应用。 ### 回答3： Faster R-CNN是一种结合了深度学习和传统目标检测算法的新型目标检测方法，旨在提高目标检测速度和准确率。Faster R-CNN采用了Region Proposal Network（RPN）来生成候选区域，并通过R-CNN网络对候选区域进行分类和定位。 RPN是一种全卷积神经网络，用于在图像中生成潜在的候选区域。RPN通常在卷积特征图上滑动，对每个位置预测k个候选区域和其对应的置信度得分。这样，对于输入图像，在不同大小和宽高比的Anchor上预测候选框，可以在计算上更有效率。 R-CNN网络利用卷积特征图作为输入，对RPN生成的候选区域进行分类和精确定位。与以前的目标检测方法相比，Faster R-CNN使用了共享卷积特征，使得整个检测网络可以端到端地进行训练和优化，缩短了训练时间，同时也更便于理解和改进。 Faster R-CNN不仅具有较高的准确性，还具有较快的检测速度。在各种基准测试中，Faster R-CNN与其他目标检测算法相比，都取得了优异的性能表现。总之，Faster R-CNN将目标检测引入了一个新的阶段，为实时目标检测提供了一个良好的基础。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

图像强

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值