【阅读笔记+代码复现】U2Fusion: A Unified Unsupervised Image Fusion Network

已于 2024-06-28 16:05:08 修改
阅读量659 收藏 11
点赞数 9
文章标签： 笔记 深度学习 pytorch cnn
于 2024-04-19 21:57:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/magnetotell/article/details/137978481
版权
本文探讨了在多任务融合任务中缺乏统一标准的问题，提出了一种通用无监督模型和信息保护度策略，通过测量特征信息丰富度定义任务间的相似性。文章还涉及了如何通过信息保护度和自适应权重来保护源图像信息，并介绍了损失函数的设计。此外，还提到了在实践中遇到的GPU兼容性问题及解决方案。
摘要由CSDN通过智能技术生成

该领域存在什么问题：

①适用于多种融合任务的ground truth和指标不存在

②对于不同场景图像，怎么保存图像的重要信息，从而把模型的泛化性做好

③聚合多个任务可以获得更好的融合结果

本文是怎么解决的：

①提出了一个通用的无监督模型来解决不同任务

②为了解决不同场景图片的信息，提出测量特征中的信息丰富程度来定义这些特征的相对重要性，来表明源图像与融合图像的相似关系，较高的相似性表示信息更多。

③提出了持续学习，确保学习新任务不会忘记旧任务的能力

④发布了一个数据集RoadScene

 模型主要结构

特征提取器用于提取上述的浅层特征、深层特征，然后对这些特征进行信息度量，产生两个度量值，最后经过信息保护度处理得到信息保护度的值，这两个用于损失函数中，从而避免使用groundtruth（结合浅层信息和深层信息可以更有效表示人类视觉不容易感知的有效信息）。训练阶段信息保护度值用于定义损失函数，而DenseNet优化该损失函数，测试阶段只需要上面的DenseNet步骤

信息保护度:为了保留源图像中的信息，为信息保护度分配两个自适应权重，定义了融合图像与源图像之间相似性的权重，更高的权重代表更高的相似性，即源图像更多信息被保留。自适应权重由先前的信息度量计算得到，由于两个信息度量值之前差异较小，和两个本身值较大的信息度量相比可能太小，所以用一个常数c来对这两个值预先进行缩放获得更优权重分配，通过下式计算。这里用softmax将信息度量值映射到0到1之间，并保证两个权重值之和为1。得到的两个权重值直接用在损失函数中控制信息保护度。

损失函数：

第一项代表融合图像与源图像的相似性损失(SSIM)，第二项是持续学习的损失（这个创新不是很重要） 

代码复现：

笔者使用显卡为GTX 3090，配置环境为tensorflow1.14。程序能够运行，但是调用不了GPU，只能在CPU上运行

后续查找资料，发现30系显卡不能装tensorflow1.x，因为不支持CUDA10，CUDA10最多支持到GTX2080，换成低级一些的显卡（如1080TI，TITANX）后就可以成功调用GPU了

如果没有低级显卡，可以尝试在30系显卡上安装tensorflow1.15，环境得严格配准cuda11安装tensorflow-gpu1.15_tensorflow 1.15 在cuda11.0上运行-CSDN博客

magnetotell
关注
  • 9
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
(转) GAN论文整理
a1424262219的博客
01-10 379
本文转自：http://www.jianshu.com/p/2acb804dd811 GAN论文整理 作者FinlayLiu已关注 2016.11.09 13:21字数 1551阅读 1263评论 0喜欢 7 原始GAN Goodfellow和Bengio等人发表在NIPS 2014年的文章Generative adversary netw...
【论文阅读】U2Fusion: A Unified Unsupervised Image Fusion Network
Prettybritany的博客
02-23 1043
这些重要的参数被赋予更高的权重，以防止忘记从旧任务中学到的东西，而不太重要的参数可以更大程度地修改，以从新任务中学习。然而，随着任务数量的增加，两个紧迫的问题变得难以解决：i）始终保留先前任务的数据所带来的存储问题和ii）使用所有数据进行训练所带来的计算问题，无论是计算难度和时间成本。4.值得注意的是，有一些方法脱离了框架，例如基于梯度转移和总变差最小化的可见光-红外图像融合方法[19]、通过优化结构相似性指数的多曝光图像融合方法[20] ，以及基于密集SIFT进行多焦点图像融合的方法[21]等。
论文阅读 [TPAMI-2022] U2Fusion: A Unified Unsupervised Image Fusion Network
weixin_42155685的博客
04-07 1233
论文阅读 [TPAMI-2022] U2Fusion: A Unified Unsupervised Image Fusion Network 论文搜索(studyai.com) 搜索论文: U2Fusion: A Unified Unsupervised Image Fusion Network 搜索论文: http://www.studyai.com/search/whole-site/?q=U2Fusion:+A+Unified+Unsupervised+Image+Fusion+Network 关键
【阅读笔记】U2Fusion: A Unified Unsupervised Image Fusion Network
最新发布
qq_48815614的博客
03-30 192
本研究提出了一种新的统一的无监督端到端图像融合网络，称为U2Fusion，它能够解决包括多模态、多曝光和多焦点情况在内的不同融合问题。U2Fusion通过特征提取和信息测量，自动估计相应源图像的重要程度，并给出自适应的信息保存度。因此，不同的融合任务统一在同一个框架中。基于自适应程度，训练网络以保持融合结果与源图像之间的自适应相似性。通过避免对不同任务连续训练单个模型时原有融合能力的丧失，得到了一个适用于多个融合任务的统一模型。此外，还发布了一个新的红外和可见光图像数据集RoadScene(可在。
论文笔记：U2Fusion A Unified Unsupervised ImageFusion Network（2020 TPAMI）
浅若清风cyf的博客
04-05 8756
# 一、瓶颈问题： ## 1、如何在无ground truth和通用参考指标情况下构建统一的图像融合模型？ 传统的融合框架、融合规则的有限选择和手工设计的复杂性限制了性能的提高。在端到端模型中，融合问题通过依赖监督学习的ground truth或专门设计的无监督学习度量来解决。然而，<u>不存在多个任务的通用基本事实或无参考指标。</u>然而，不存在多个任务的通用基本事实或无参考指标。这些问题是构建统一模型和有监督或无监督学习应用的主要障碍。
【统一融合：U2Fusion】
weixin_43690932的博客
12-12 2262
仅供自己参考
Active Transfer Learning Network: A Unified Deep Joint Spectral-Spatial Feature Learning Model for Hyperspectral Image Classification
02-07
To address this problem, this paper proposes a unified deep network, combined with active transfer learning (TL) that can be well-trained for HSIs classification using only minimally labeled training...
u2json:Snort Unified2 到 JSON
06-04
u2json 将 Snort 统一 2 日志转换为 JSON。依赖关系要构建 u2json，您必须安装以下依赖项： libunified2 杨松安装用 brew 安装。 brew tap wtfbbqhax/homebrew-apbrew install u2json 从源安装 # git clone ...
【深度学习论文】FaceNet: A Unified Embedding for Face Recognition and Clustering
01-07
CSDN博客：【深度学习论文笔记】FaceNet: A Unified Embedding for Face Recognition and Clustering CSDN博客：FaceNet–Google的人脸识别 《21个项目玩转深度学习》6章。 实现：davidsandberg/facenet ...
英文论文原文FaceNet: A Unified Embedding for Face Recognition and Clustering
11-22
深度学习神经网络在人脸识别中的运用，网络采用欧氏距离来衡量两张人脸图片之间的相似度。
数据融合matlab代码-TPAMI-CU-Net:TPAMI-CU-Net
05-22
数据融合matlab代码TPAMI-CU-Net 该存储库是我们题为“用于多模式图像恢复和融合的深度卷积神经网络”的论文的Tensorflow代码。 拟议的CU-Net的网络体系结构。 对于与MIR相关的任务，最终的重建（第4点）由共同的重建（第1点）和唯一的重建（第2点）组成。 对于与MIF相关的任务，最终的重构由普通重构（第1点）和两个唯一的重构（第2点和第3点）组成。 如果您发现我们的工作对您的研究或出版物有用，请考虑引用： @inproceedings {Deng2019deep， 作者= {邓，辛和德拉戈蒂，皮尔·路易吉}， title = {用于多模态图像复原和融合的深度卷积神经网络}， booktitle = {IEEE模式分析和机器智能（PAMI）事务}， 年= {2020} } 要求 pytorch> = 1.4.0 Matlab> = 2017年 火车 下载培训数据集。 RGB /深度训练数据集来自，可以从下载。 RGB /多光谱数据集来自Columbia multi-spectral。 Flash /非Flash数据集来自。 多重曝光数据集来自。 按照Genera
嵌入式系统设计：统一的硬件/软件方法Embedded System Design: A Unified Hardware/Software Approach
11-15
介绍一种使用现代方法的嵌入式系统设计，该方法需要软件和硬件的统一视图。
图像融合论文阅读：U2Fusion: A Unified Unsupervised Image Fusion Network
图像强的博客
12-17 2367
①提出了一种新颖的【统一】【无监督】【端到端】图像融合网络U2Fusion，可以解决多模态、多曝光、多聚焦等不同的融合问题。②通过【特征提取】和【信息度量】，U2Fusion可以【自动估计】对应源图像的【重要程度】，并给出【自适应信息保持度】。基于自适应度，训练好的网络可以保留融合图像和源图像的自适应相似性。因此解决了基于DL的图像融合中需要【ground truth】和【特定的设计规则】的问题。③通过避免顺序地训练不同任务单模型时损失之前的融合能力，不同的融合任务可以在统一的网络框架下完成。
多源图像融合——U2Fusion
lijiamingccc的博客
03-24 525
这项研究提出了一种新颖的统一的无监督端到端图像融合网络，称为 U2Fusion，能够解决不同的融合问题，包括多模态、多曝光和多焦点情况。利用特征提取和信息测量，U2Fusion 自动估计相应源图像的重要性，并提出自适应的信息保留度。因此，不同的融合任务在同一框架中统一处理。基于自适应度量，训练一个网络以保持融合结果与源图像之间的自适应相似性。因此，通过避免在顺序地为不同任务训练单个模型时丢失先前融合能力，我们获得了一个适用于多个融合任务的统一模型。
基于深度学习的医学图像融合(Medical image fusion)论文及代码整理
fovever_的博客
05-01 8602
基于深度学习的医学图像融合(Medical image fusion)论文及代码整理。主要将已有的基于深度学习的医学图像融合算法归类为基于卷积神经网络的医学图像融合框架和基于生成对抗网络的医学图像融合框架。
《UNIFusion: A Lightweight Unified Image Fusion Network》论文解读+代码【更新中】
AWCXV
04-14 571
论文+代码链接 论文代码 陆续更新中... 摘要 作者提出了一个轻量化的网络模型，用来解决不同的图像融合任务(通用模型)。使用了一个引导滤波的操作，将图像分解，从而不同层级可以使用不同的融合策略，为融合策略组合提供了更多可能。其中为多聚焦图像融合任务设计了一个梯度感知融合策略。指标SOTA。 引言 引言部分，分成传统和深度方法做介绍，然后提了一下传统，逐渐过渡到深度方法的简介。最早的深度融合，还...
高光谱数据集，论文笔记，图像融合代码汇总
每天都要看论文
10-31 9515
数据集：https://blog.csdn.net/siyumiao_hbu/article/details/109291055 论文笔记： 高光谱图像超分辨率空间谱先验学习Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery GDD无监督图像对融合Guided Deep Decoder: Unsupervised Image Pair Fusion 用于半盲高光谱和多光谱图像融合的非局部稀疏张..
PMGI图像融合代码学习
LingXuan46854534的博客
06-16 3138
PMGI代码PMGI简介FusionGAN代码PMGI开源代码内容使用预训练模型运行代码使用PMGI训练自己的数据集训练过程数据集相关代码修改训练测试过程总结 PMGI代码和FusionGAN代码十分类似，可以参考我的另一篇FusionGAN的博文 PMGI简介 PMGI是使用卷积神经网络（CNN）来完成图像融合任务，从图像梯度和对比度两条路径来提取图像信息，并且在同一条路径上使用特征重用，以避免由于卷积而丢失图像信息．同时，在两条路径之间引入了路径传递块，实现了不同路径间的信息交换，保证了融合图像有更丰富
VINS-FUSION 前端后端代码全详解（转载）
诗筱涵的博客
08-19 3841
转载自古月居：https://mp.weixin.qq.com/s/hoPDnZhT7ltkKib6mqSTcA VINS-FUSION 前端后端代码全详解 原创 lovely_yoshino 古月居 今天 我首先参照网络上的文档整理了全部的代码，并对于C++和OpenCV的一些操作也进行了详细的注释，并写了这篇的博客进行全部的讲解，其中1-4章节是前端VIO信息，5章节是后端DBOW词袋回环，6-7章节是GPS与VIO融合，8章节是参考文献。 1. 程序入口rosNodeTes
图像融合U2Fusion
05-05
U2Fusion是一种图像融合技术，可以将两张或多张图像合成一张具有更高质量和更多细节的图像。它是基于深度学习的方法，使用了类似于神经网络的模型进行训练。这个模型可以学习如何将多个图像中的信息进行融合，从而生成一个高质量的图像。 在图像融合中，U2Fusion可以在许多应用中发挥作用，例如在医学影像处理中，可以将不同的医学影像融合在一起以生成更准确的图像；在自然图像处理中，可以将多个不同角度的图像融合在一起以生成更清晰的图像。此外，U2Fusion还可以用于视频图像处理中，例如将多个视频帧融合在一起以生成一个更稳定的视频图像。 总之，U2Fusion是一种非常有用的图像融合技术，可以提高图像处理的质量和效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值