图像融合论文阅读：Dif-fusion: Towards high color fidelity in infrared and visible image fusion with diffusion

已于 2023-12-28 17:08:31 修改
阅读量2.1k 收藏 25
点赞数 31
分类专栏： 图像融合 文章标签： 论文阅读 深度学习 图像融合 图像处理 人工智能 论文笔记
于 2023-12-28 17:08:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiexiang5396/article/details/135266918
版权

@article{yue2023dif,
title={Dif-fusion: Towards high color fidelity in infrared and visible image fusion with diffusion models},
author={Yue, Jun and Fang, Leyuan and Xia, Shaobo and Deng, Yue and Ma, Jiayi},
journal={arXiv preprint arXiv:2301.08072},
year={2023}
}

论文级别：-
影响因子：-

📖[论文下载地址]
💽[代码下载地址]

文章目录

📖论文解读

以往的VIF网络将多通道图像转换为单通道图像，忽略了【颜色保真】，为了解决这个问题，作者提出了【基于扩散模型】的图像融合网络【Dif-Fusion】，在具有正向扩散和反向扩散的潜在空间中，使用降噪网络【建立多通道数据分布】，然后降噪网络【提取】包含了可见光信息和红外信息的【多通道扩散特征】，最后将扩散特征输入多通道融合模块生成三通道的融合图像。

🔑关键词

Image fusion, color fidelity, multimodal information, diffusion models, latent representation, deep generative
model.
图像融合，颜色保真度，多模态信息，扩散模型，潜在表示，深度生成模型

💭核心思想

将源图像通道拼接，输入扩散模型，然后从扩散模型中提取扩散特征，通过多通道的扩散特征，输入多通道融合网络中恢复出多通道的融合图像

参考链接
[什么是图像融合？（一看就通，通俗易懂）]

🪢网络结构

作者提出的网络结构如下所示。
在这里插入图片描述
在这里插入图片描述

📉损失函数

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

🔢数据集

图像融合数据集链接
[图像融合常用数据集整理]

🎢训练设置

🔬实验

📏评价指标

  • MI
  • VIF
  • SF
  • Qabf
  • SD

参考资料
[图像融合定量指标分析]

🥅Baseline

  • FusionGAN, SDDGAN, GANMcC, SDNet, U2Fusion, TarDAL

✨✨✨参考资料
✨✨✨强烈推荐必看博客[图像融合论文baseline及其网络模型]✨✨✨

🔬实验结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

更多实验结果及分析可以查看原文：
📖[论文下载地址]
💽[代码下载地址]

🚀传送门

📑图像融合相关论文阅读笔记

📑[LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images]
📑[(DeFusion)Fusion from decomposition: A self-supervised decomposition approach for image fusion]
📑[ReCoNet: Recurrent Correction Network for Fast and Efficient Multi-modality Image Fusion]
📑[RFN-Nest: An end-to-end resid- ual fusion network for infrared and visible images]
📑[SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images]
📑[SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer]
📑[(MFEIF)Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion]
📑[DenseFuse: A fusion approach to infrared and visible images]
📑[DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pair]
📑[GANMcC: A Generative Adversarial Network With Multiclassification Constraints for IVIF]
📑[DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion]
📑[IFCNN: A general image fusion framework based on convolutional neural network]
📑[(PMGI) Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity]
📑[SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion]
📑[DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion]
📑[FusionGAN: A generative adversarial network for infrared and visible image fusion]
📑[PIAFusion: A progressive infrared and visible image fusion network based on illumination aw]
📑[CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion]
📑[U2Fusion: A Unified Unsupervised Image Fusion Network]
📑综述[Visible and Infrared Image Fusion Using Deep Learning]

📚图像融合论文baseline总结

📚[图像融合论文baseline及其网络模型]

📑其他论文

📑[3D目标检测综述：Multi-Modal 3D Object Detection in Autonomous Driving：A Survey]

🎈其他总结

🎈[CVPR2023、ICCV2023论文题目汇总及词频统计]

✨精品文章总结

✨[图像融合论文及代码整理最全大合集]
✨[图像融合常用数据集整理]

如有疑问可联系：420269520@qq.com;
码字不易，【关注，收藏，点赞】一键三连是我持续更新的动力，祝各位早发paper，顺利毕业~

Dif-Fusion/ Towards High Color Fidelity in Infrared and Visible Image Fusion with Diffusion Models
m0_47005029的博客
07-27 962
颜色在人类视觉感知中起着重要作用，反映了物体的光谱。然而，现有的红外和可见图像融合方法很少探索如何直接处理多光谱/通道数据并实现高颜色保真度。本文通过提出一种新的扩散模型方法，称为DifFusion，来生成多通道输入数据的分布，从而增强多源信息聚合能力和颜色保真度。具体而言，我们，而是在潜在空间中，并进行正向和反向扩散过程。然后，我们使用去噪网络提取具有可见光和红外信息的多通道扩散特征。最后，我们将多通道扩散特征输入多通道融合模块，直接生成三通道融合图像。
【CVPR2022】论文列表与下载——PartFour
TomRen
06-12 3220
【CVPR2022】完整论文列表
Dif-Fusion: Towards High Color Fidelity in Infrared and Visible Image Fusion with Diffusion Models
xcy2014117129的博客
02-03 1212
尽管现有的基于深度学习的融合方法能够实现令人满意的性能，但是仍有一些问题需要考虑：首先，现有的方法主要集中在如何保持红外图像的热目标以及可见光图像的背景纹理结构，而很少关注如何保留可见光的颜色信息。解决了现有的方法大多集中在融合可见光图像中的纹理/梯度和红外图像中的强度，而不注意颜色信息的保存和多通道互补信息的提取。红外与可见光的融合方法包括传统方法和基于深度学习的方法，其中传统方法包括基于稀疏表示的方法、基于多尺度变换的方法、基于子空间的方法、基于显著性检测的方法以及混合方法。的三个RGB通道，I。
Dif-Fusion: Towards High Color Fidelity in Infrared and Visible Image Fusion with Diffusion Models代码
xcy2014117129的博客
02-21 779
这一操作是为了使 step 张量**的形状与 noise_level.unsqueeze(1) 保持一致，即满足矩阵的要求[n,1]×[1.count]，这样 noise_level的每个元素都能乘一个衰减因子。在这里，是为了添加噪声用的。noise_level.unsqueeze(1):unsqueeze(1) 方法的作用是在 noise_level 张量的第1个维度（从0开始计数）处增加一个维度，即将其形状从 [n] 转变为 [n, 1]，其中 n 是 noise_level 的原始长度。
【读论文】DIVFusion: Darkness-free infrared and visible image fusion
就很有趣的博客
11-22 6291
博主看到的首篇实现图像增强亮度的文章，收益颇丰
Dif-Fusion：第一个基于扩散模型实现的红外光与可见光图像融合的论文
qq_43799400的博客
11-14 3739
第一个基于扩散模型实现的红外光与可见光图像融合的论文。Dif-Fusion: Towards High Color Fidelity in Infrared and Visible Image Fusion with Diffusion Models
【CVPR2019】论文完整列表一
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
【CVPR2022】论文列表与下载——PartTwo
TomRen
06-12 2645
CVPR2022完整论文列表
【CVPR2022】论文列表与下载——PartThree
TomRen
06-12 4954
【CVPR2022】完整论文列表
DIVFusion:首个耦合互促低光增强&图像融合的框架
fovever_的博客
11-15 7684
最近Information Fusion接收了一篇题为《DIVFusion: Darkness-free infrared and visible image fusion》的文章。在此之前，图像融合领域一直徘徊在利用互补信息，设计loss，引入新的融合规则等。但是忽视了低光场景下可见光信息退化的问题，这将严重影响互补信息的聚合，也即产生不佳的融合结果。 DIVFusion一文中给出了一个很新的思想来解决低光下的融合问题，即是耦合互促低光增强与融合，以获得良好视觉感知的融合图像。
【图像融合】Dif-Fusion:基于扩散模型的红外/可见图像融合方法
热门推荐
qq_45752541的博客
05-11 1万+
颜色在人类的视觉感知中起着重要的作用，反映了物体的光谱。然而，现有的红外和可见光图像融合方法很少探索如何直接处理多光谱/通道数据，并实现较高的彩色保真度。本文提出了一种利用扩散模型diffusion来生成多通道输入数据的分布，提高了多源信息聚合的能力和颜色的保真度。具体来说，我们没有将现有的融合方法中的多通道图像转换为单通道数据，而是在潜在空间中创建了具有正向和反向扩散过程的去噪网络的多通道数据分布。然后，我们利用去噪网络提取具有可见光和红外信息的多通道扩散特征。最后，我们。
图像融合、Transformer、扩散模型
qq_43278142的博客
11-28 3912
包大人说：“图像融合遇见Transformer，还是Transformer遇见图像融合？哪个更为贴切？” 元芳回答：‘’都合适。‘’
图像融合论文阅读：DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion
图像强的博客
01-02 2983
这篇文章和CDDFuse是同一个团队的成果。 作者利用扩散概率模型DDPM（denoising diffusion probabilistic model ）用在多模态图像融合任务中，提出了去噪扩散图像融合模型（Denoising Diffusion image Fusion Model (DDFM)），融合任务被定义为了在DDPM采样网络下的条件生成问题，并进一步划分为了：无条件生成和最大似然这两个子问题。
ICCV 2023 Oral | DDFM：首个使用扩散模型进行多模态图像融合的方法
阿木寺的博客
09-19 4003
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【图像融合和扩散模型】交流群作者：奥本海默（源：知乎，已授权）| 编辑：CVer公众号https://zhuanlan.zhihu.com/p/653761272在CVer微信公众号后台回复：DDFM，可以下载本论文pdf、代码本文是西安交通大学&苏黎世联邦理工学院的赵子祥博士在ICCV2023上关于多...
探索未来图像生成新境界：Diffusion扩散模型深度解析与应用探索
gitblog_00060的博客
06-10 528
探索未来图像生成新境界：Diffusion扩散模型深度解析与应用探索 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 在机器学习的广阔天地中，生成模型一直是研究的热点。今天，我们带您深入探索一项前沿科技——Diffusion扩散模型，这是一个以创新方式颠覆传统图像合成领域的开源项目。通过这个项目，开发者和研究人员能够访问一系列精心构建的教程和实现，这些内容围绕着近年来在...
FusionDiff：第一个基于扩散模型实现的多聚焦图像融合的论文
qq_43799400的博客
11-14 3437
FusionDiff：第一个基于扩散模型实现的多聚焦图像融合的论文。FusionDiff: Multi-focus image fusion using denoising diffusion probabilistic models
FCDFusion：一种用于融合可见光和红外图像对的快速、低色彩偏差的方法
qq_45913945的博客
01-13 924
可见光和红外图像融合（VIF）旨在将可见光和红外图像的信息组合成单个融合图像。以前的 VIF 方法通常采用色彩空间转换来保持原始可见图像的色调和饱和度。然而，对于快速 VIF 方法，此操作占计算的大部分，并且是阻止更快处理的瓶颈。在本文中，我们提出了一种快速融合方法，FCDFusion，颜色偏差很小。它通过直接在 RGB 颜色空间中操作来保留颜色信息，无需进行颜色空间转换。它以很少的额外成本集成了伽玛校正，从而可以快速改善色彩和对比度。我们将融合过程视为对3D颜色向量的缩放操作，大大简化了计算。
Versatile Diffusion—— 融合文本和图像的扩散模型
知来者逆的博客
05-07 1833
Diffusion模型在各种生成任务中取得了显著的进展，成为了一个重要的里程碑。特别是像DALL·E 2、Imagen和Stable Diffusion（SD）这样的模型，不仅在学术界引起了广泛关注，也在工业界产生了深远影响。尽管这些模型在特定任务上表现出色，例如根据文本描述生成图像，但它们通常只能处理一类任务。对于不同类型的任务，我们往往需要独立训练或构建新的模型。
[论文阅读]ControlNET: A Firewall for RAG-based LLM System
最新发布
m0_52911108的博客
05-13 1080
RAG存在数据泄露风险和数据投毒风险。相关研究探索了提示注入和投毒攻击，但是在控制出入查询流以减轻威胁方面存在不足文章提出一种ai防火墙CONTROLNET，保护基于RAG的LLM系统免受这些漏洞的侵害利用激活转移现象检查恶意查询，通过语义差异来减轻影响从而控制查询流数据泄露风险源于恶意客户端进行侦察以提取系统提示或利用 RAG 系统环境。
esp32s3 example: print -> stdout example: print -> stderr
01-14
### ESP32-S3 Print to Stdout and Stderr Examples In the context of programming an ESP32-S3, directing output specifically to `stdout` or `stderr` can be achieved through custom logging functions that utilize file descriptors associated with these streams. Given that `stdout` operates under line buffering by default while `stderr` is unbuffered[^1], it's important to understand how this behavior impacts debugging and monitoring applications running on microcontrollers like the ESP32-S3. For demonstration purposes, consider implementing a simple example using C++ within the Arduino IDE framework for ESP32 devices: #### Example Code Demonstrating Output to Stdout and Stderr ```cpp #include "Arduino.h" void setup() { Serial.begin(115200); // Redirecting stdout and stderr to serial port. setvbuf(stdout, NULL, _IONBF, 0); // Disable buffering for stdout printf("This message goes to stdout\n"); fprintf(stderr, "This error message goes directly to stderr without waiting.\n"); } void loop() { delay(1000); } ``` The above code snippet initializes communication at a baud rate suitable for observing outputs via USB-to-serial connection. By disabling buffering for `stdout`, messages sent there will behave similarly to those directed towards `stderr`: they are immediately flushed out upon execution of the respective print statements. Additionally, when working in environments where Python might interact with such hardware (for instance, during model training phases as mentioned), ensuring proper handling of standard input/output streams becomes crucial especially around package management tasks involving tools like `pip`. However, direct interaction between Python scripts and ESP32-S3 concerning I/O redirection would typically occur over UART interfaces rather than modifying internal C/C++ program behaviors[^2]. --related questions-- 1. How does one modify buffer settings for different types of streams in embedded systems? 2. What methods exist for enhancing debug information visibility from ESP32-S3 projects? 3. Can you explain more about setting up virtual environments specific to ESP32 development workflows? 4. In what scenarios should developers prefer using `fprintf` over `printf` in their programs targeting microcontroller units?
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

图像强

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值