图像融合、Transformer、扩散模型

已于 2023-11-28 17:10:10 修改
阅读量3.3k 收藏 43
点赞数 7
文章标签： transformer 深度学习 计算机视觉 人工智能
于 2022-11-28 18:35:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43278142/article/details/128083395
版权

        在这篇博客中，主要是收集到一些图像融合框架中引入Transformer结构的文章，提供给大家参考学习，目前图像融合领域引入Transformer结构的文章比较少（我所看到的比较少，也看可能我看的比较少？），主要作用就是把它作为一种提取特征的方式，或者说更倾向于long-range dependencies的建立。Transformer引入到图像融合领域的时间并不长，大部分文章都是2020-2022发出的，所有并没有统计发表年份。至于是具体是哪个会议或者期刊发表的并没有标注，有兴趣可以自己去查查。

       Transformer 主要是通过自注意力学习图像斑块之间的全局空间关系。 自注意力机制致力于建立long-range dependencies，从而在浅层和深层中更好地利用全局信息，所以 Transformer 的使用就是解决长序列问题的一个好方法。在 CV 领域中常用的就是 CNN，它可以提取本地的特征，因为每次卷积就是提取该卷积下的特征图，在局部信息的提取上有很大优势，但无法关注图像的长期依赖关系，阻碍了复杂场景融合的上下文信息提取。所以， Transformer 的引入主要解决这个问题。

        下面这个思维导图从单任务和多任务的角度进行设计的，简单看看吧！！！

 下面这个表格是论文的名称，以及在网络结构上进行了总结。

CNN+Transformer结构
文章类型代码
Image Fusion TransformerVIF文中提供了代码链接
MFST: Multi-Modal Feature Self-Adaptive Transformer for Infrared and Visible Image FusionVIF
DNDT: Infrared and Visible Image Fusion Via DenseNet and Dual-TransformerVIF
TransMEF: A Transformer-Based Multi-Exposure Image Fusion Framework using Self-Supervised Multi-Task LearningMEF

文中提供了代码链接

TransFuse: A Unified Transformer-based Image Fusion Framework using Self-supervised Learning

Unified Framework

文中提供了代码链接
TGFuse: An Infrared and Visible Image Fusion Approach Based on Transformer and Generative Adversarial NetworkVIF
SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin TransformerUnified Framework文中提供了代码链接
CGTF: Convolution-Guided Transformer for Infrared and Visible Image FusionVIF
Pure Transformer结构（这两篇都是预训练模型做的）
SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible ImagesVIF文中提供了代码链接
PPT Fusion: Pyramid Patch Transformer for a Case Study in Image FusionUnified Framework
新增
THFuse: An infrared and visible image fusion network using transformer and hybrid feature extractorVIF
IFormerFusion: Cross-Domain Frequency Information Learning for Infrared and Visible Image Fusion Based on the Inception TransformerVIF
Breaking Free from Fusion Rule: A Fully Semantic-driven Infrared and Visible Image FusionVIF
扩散模型
Dif-Fusion: Towards High Color Fidelity in Infrared and Visible Image Fusion with Diffusion ModelsVIF，扩散彩色通道特征
2023.11.28新增顶会、顶刊
CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion+TransformerCVPR23
MetaFusion: Infrared and Visible lmage Fusion via Meta-Feature Embedding
from Object Detection		+目标检测CVPR23
Deep Convolutional Sparse Coding Networks for Interpretable Image FusionUnified FrameworkCVPR
Multi-interactive Feature Learning and a Full-time Multi-modality Benchmark for Image Fusion and Segmentation+语义分割ICCV23
DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion+GAN+扩散模型ICCV23
Bi-level Dynamic Learning for Jointly Multi-modality Image Fusion and Beyond+语义分割IJCAI23
LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible ImagesVIFTPAMI23
CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Multi-modality Image Fusion+耦合对比IJCV23
An Interactively Reinforced Paradigm for Joint Infrared-Visible Image Fusion and Saliency Object Detection+显著性目标检测InF23

       

        上述论文的实验部分都是比较的卷积方法或者传统方法，并没有比较到使用到Transforme的模型，所以他们之间的是啥情况，那就不清楚了，没刻意去比较过，有兴趣可以去比较比较。That thing is not sure！！！

        思考：怎么把Tranformer合理的引入到CNN结构中进行图像融合以及如何真正地将Transformer用到图像融合融合中（完全使用Transformer去构建图像融合模型） ？？？ 

        目前，只收集到这些文章。。如有错误，希望大家看到后及时在评论区留言！！！

2023.3.17新增、扩散模型！！！

2023/11/28   结合相关任务相关成主流了？？？

新增！！！顶会、顶刊相关论文！！！

小白学白
关注
  • 7
    点赞
  • 踩
  • 43
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
Transformer模型应用领域
08-24
Transformer模型应用领域
【图像融合】Dif-Fusion:基于扩散模型的红外/可见图像融合方法
热门推荐
qq_45752541的博客
05-11 1万+
颜色在人类的视觉感知中起着重要的作用，反映了物体的光谱。然而，现有的红外和可见光图像融合方法很少探索如何直接处理多光谱/通道数据，并实现较高的彩色保真度。本文提出了一种利用扩散模型diffusion来生成多通道输入数据的分布，提高了多源信息聚合的能力和颜色的保真度。具体来说，我们没有将现有的融合方法中的多通道图像转换为单通道数据，而是在潜在空间中创建了具有正向和反向扩散过程的去噪网络的多通道数据分布。然后，我们利用去噪网络提取具有可见光和红外信息的多通道扩散特征。最后，我们。
CNN和Transformer创新结合，模型性能炸裂！
最新发布
chen695969的博客
06-17 1094
此研究方向的发展不仅推动了深度学习技术的进步，也为实际应用提供了更丰富的解决方案。- 单分支CNN与transformer的结合：SCTNet创新地将单分支CNN与训练时使用的transformer语义分支结合起来，既保持了推理时的高效率，又能够利用transformer捕获丰富的语义信息。- 混合网络架构：提出了一种结合卷积神经网络（CNN）和Transformer的混合超分辨率（SR）网络，以聚合丰富的特征，包括CNN的局部特征和Transformer捕获的长距离多尺度依赖性。
高光谱分类论文解读分享之基于多模态融合Transformer的遥感图像分类方法
sinat_41421587的博客
01-09 1455
IEEE TGRS 2023：基于多模态融合Transformer的遥感图像分类方法
Tesla AI day中感知部分的详细解析（一）——Transformer在图像领域的应用
liu3612162的博客
11-07 4029
最近针对特斯拉AI day2022内容进行了初步的了解，三个小时的发布会涵盖了方方面面的内容，其中基于纯视觉和深度学习的BEV感知升级版Occupancy Network形成的3D感知系统着实让人惊艳，而想要了解Occupancy Network，必须先了解其前身BEV感知，而其中一大关键点是参考了Transformer的网络结构对不同时空的数据输入进行处理，本系列文章主要针对相关技术从源头开始解析，由于个人技术能力有限，不可能面面俱到，仅当作抛砖引玉了。
Transformer模型在图像处理领域的挑战与机遇
禅与计算机程序设计艺术
01-07 977
1.背景介绍 图像处理是计算机视觉的核心技术之一，它涉及到图像的获取、处理、分析和理解。随着深度学习技术的发展，卷积神经网络(CNN)成为图像处理领域的主流方法，它具有很好的表现力。然而，随着数据规模和模型复杂性的增加，CNN在处理大规模、高维的图像数据时遇到了诸多挑战，如计算效率低、模型训练时间长、难以扩展等。 Transformer模型是一种新型的神经网络架构，它在自然语言处理(NLP)领...
什么是扩散模型（Diffusion Models），为什么它们是图像生成的一大进步？
weixin_43378545的博客
03-23 1268
一种最近提出的方法，利用GANs的感知能力、扩散模型的细节保持能力和transformer的语义能力，将三者合并在一起。也许过去十年在计算机视觉和机器学习方面的突破是GANs(生成式对抗网络)的发明——这种方法引入了超越数据中已经存在的内容的可能性，是一个全新领域的敲门砖，现在称为生成式建模。transformer的泛化能力和扩散模型的细节保持能力的结合提供了两个世界的优点，并提供了一种生成细粒度的高度详细图像的能力，同时保留图像中的语义结构。生成的图像在语义和视觉上与作为参考的图像相似。
Transformer 和扩散模型的生成式 AI 实用指南（预览版）
龙哥盟
01-31 1573
在本章中，我们看到了迭代改进的想法如何应用于训练扩散模型，使其能够将噪音转化为美丽的图像。您已经看到了一些设计选择，这些选择是创建成功的扩散模型所必需的，并希望通过训练自己的模型来实践这些选择。在下一章中，我们将看看一些更先进的技术，这些技术已经被开发出来，以改进扩散模型的性能，并赋予它们非凡的新能力！潜在扩散试图通过使用称为变分自动编码器（VAE）的单独模型来缓解这个问题。正如我们在第二章中看到的，VAE 可以将图像压缩到较小的空间维度。
【图像任务】Transformer系列.3
m0_61899108的博客
06-13 3740
​ 本文介绍3篇改进Transformer以实现不同图像任务的工作：少样本医学图像分割CAT-Net（arXiv2023），高效图像重建等任务GRL（CVPR2023），轻量视觉Transformer中的局部信息思考CloFormer（arXiv2023）。 ​
transformer模型详解
02-24
综合分析了现有的主流的nlp翻译模型的即基于CNN的可并行对其文本翻译和基于RNN的LSTM门控长短期记忆时序翻译模型，总结了两个模型的优缺点并在此基础上提出了基于自注意力机制的翻译模型transformer，transformer...
yolov5目标检测模型 (融合transformer+已调参优化）
10-29
yolov5口罩检测，此模型已融合了attention机制，best.pt放在主目录下，考虑到训练时间使用的yolov5x，mAp96%左右，能够较高的识别人脸是否佩戴口罩，可以修改损失函数继续进行优化
Swin Transformer 实现图像分类
05-29
Swin Transformer 是一种基于Transformer架构的深度学习模型，由Pengchao Zhang等人在2021年提出，主要用于计算机视觉任务，如图像分类、目标检测和语义分割。相较于传统的卷积神经网络（CNN），Swin Transformer ...
stable diffusion比 transformer 作了哪些改进
creativity2021的博客
03-01 952
Stable Diffusion 是一个基于自注意力机制的生成模型，它的设计受到了 Transformer 模型的启发，但也在很多方面进行了改进。总的来说，Stable Diffusion 在借鉴 Transformer 的自注意力机制基础上，通过引入扩散过程和改进的损失函数设计等方面的改进，提高了模型的生成稳定性、长距离依赖处理能力和生成质量。：由于稳定性和长距离依赖处理的改进，Stable Diffusion 在生成图像和文本时往往能够取得更好的质量和多样性，降低了生成结果中的错误和重复。
transformer的具体应用：图像分类
m0_74096414的博客
12-07 2368
在上面的结构图中可以看到，输入Encoder的最左侧部分添加了一个0*这个Token，这个就是额外添加的一个[class]token，单独用来处理类别信息，经过Encoder之后，需要单独将这个Token再提取出来，输入到MLP Head之中再输出分类结果。这一步的操作在论文中是直接采用切割的处理办法，但是在后面的代码实现中，采用了一种更巧妙的解决思路，就是利用一个卷积核大小为16x16，步距为16，卷积核个数为768的卷积层来进行实现。在Transformer中，位置编码的作用是为了记忆输入的语序信息。
使用Transformer融合时空信息的自动驾驶感知框架
PerceptionX的博客
06-29 2179
本文提出了一套基于Transformer和时序模型在鸟瞰图视角下优化特征的环视物体检测方案，即BEVFormer。nuScenes数据集上以NDS指标（类似mAP），在camera only赛道中 大幅领先 之前方法。本文旨在介绍我们在设计BEVFormer过程中考虑的思路、比较的多种方法、以及下一步可能的研究方向。...
【多层交叉transformer：高光谱和多光谱图像融合】
weixin_43690932的博客
03-07 7298
仅供自己参考
基于Transformer的多模态扩散大模型！清华朱军团队开源，文图互生、改写都实现...
idol24的博客
04-04 793
本文来源 机器之心编辑部该论文提出了一个为多模态设计的概率建模框架 UniDiffuser，除了单向的文生图，还能实现图生文、图文联合生成、无条件图文生成、图文改写等多种功能。据悉 GPT-4 将于本周发布，多模态将成为其一大亮点。当前的大语言模型正在成为理解各种模态的通用接口，能够根据不同模态信息来给出回复文本，但大语言模型生成的内容也仅仅局限于文本。另一方面，当前的扩散模型 DALL・E 2、...
扩散模型和Transformer梦幻联动！替换U-Net，一举拿下新SOTA！
阿木寺的博客
12-24 3834
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>扩散模型微信技术交流群转载自：量子位“U-Net已死，Transformer成为扩散模型新SOTA了！”就在ChatGPT占尽AI圈风头时，纽约大学谢赛宁的图像生成模型新论文横空出世，收获一众同行惊讶的声音。△MILA在读ML博士生Ethan Caballero论文创意性地将Transformer与扩散模型融合，...
NLP入门：word2vec & self-attention & transformer & diffusion的技术演变
NCU_wander的博客
06-28 2074
这一段时间大模型的相关进展如火如荼，吸引了很多人的目光；本文从nlp领域入门的角度来总结相关的技术路线演变路线。
图像融合transformer
08-30
图像融合transformer是一种利用transformer结构来实现图像融合的方法。在图像融合任务中，transformer可以利用其对长距离依赖的建模能力，同时处理局部信息和全局信息，以提高融合效果。与传统的基于卷积的方法相比，图像融合transformer更加注重局部关系的卷积，具有更大的潜力。同时，如何有效地进行多光谱图像（MSI）和高光谱图像（HSI）之间的交互融合一直是图像融合任务的难点。因此，在图像融合transformer中，研究者们提出了一种名为MCT的方法，基于transformer解决方案实现了HSI和MSI之间的交叉关注操作，提供了更高的性能改进。这种方法通过将图像融合问题转化为特征提取、图像重建和特征融合等模块的组合，实现了图像融合transformer的整体结构。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [【多层交叉transformer：高光谱和多光谱图像融合】](https://blog.csdn.net/weixin_43690932/article/details/129325994)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [CVPR2023 | 结合CNN和Transformer的多任务多模态图像融合方法](https://blog.csdn.net/qq_42722197/article/details/131079017)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值