TCSVT 2024 | 基于Transformer的多模态图像通用融合算法TUFusion

最新推荐文章于 2025-12-20 17:21:30 发布

小白学视觉

最新推荐文章于 2025-12-20 17:21:30 发布

阅读量160

点赞数

CC 4.0 BY-SA版权

分类专栏：计算机顶会顶刊论文解读文章标签： transformer 算法深度学习 TCSVT 论文解读

本文链接：https://blog.csdn.net/qq_42722197/article/details/148650185

计算机顶会顶刊论文解读专栏收录该内容

412 篇文章 ¥79.90 ¥99.00

订阅专栏

论文信息

题目： TUFusion: A Transformer-Based Universal Fusion Algorithm for Multimodal Images

基于Transformer的多模态图像通用融合算法TUFusion

作者：Yangyang Zhao, Qingchun Zheng, Peihao Zhu, Xu Zhang, Wenpeng Ma

源码：https://github.com/windrunners/TUFusion

论文创新点

提出新型融合算法：论文提出了一种新的基于混合结构的图像融合算法TUFusion，其核心结构包括编码器、融合层和解码器。该算法创新性地将Transformer与CNN相结合，既能利用Transformer强大的全局提取能力，又能发挥CNN出色的局部图像信息感知能力，提升了多模态图像融合的通用性。
设计复合注意力融合策略

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小白学视觉

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

TCSVT 2024 | ERDUnet：一种用于医学图像分割的高效残差双编码Unet

小白学视觉

07-12

209

医学图像分割在临床诊断中应用广泛，基于卷积神经网络的方法已能实现较高的准确率。然而，提取全局上下文特征仍有困难，且参数过多，难以应用于临床。为此，作者提出一种新型网络结构，对传统的编码器 - 解码器网络模型进行改进，在保证分割精度的同时节省参数。作者通过构建一个能同时提取局部特征和全局连续信息的编码器模块，提高了特征提取效率。设计了一种新型注意力模块，优化分割边界区域，同时提高训练效率。还改进了解码部分的特征传递结构，充分融合不同层次的特征，更精细地恢复空间分辨率。

TPAMI 2024 | 基于身份引导协同学习的更换衣物行人再识别

小白学视觉

07-06

378

更换衣物行人再识别 (ReID) 是一个新兴的研究课题，旨在解决由于更换衣物和行人视角/姿势变化导致的特征变化问题。虽然通过引入额外的信息（例如人类轮廓素描信息、人类身体关键点和3D人类信息）取得了显著进展，但更换衣物行人再识别仍然具有挑战性，因为行人的外观表示随时可能发生变化。此外，人类语义信息和行人身份信息尚未得到充分利用。为了解决这些问题，我们提出了一种新颖的基于身份引导的协同学习方案 (IGCL) 用于更换衣物行人再识别，其中人类语义被有效利用且身份保持不变以引导协同学习。

参与评论您还未登录，请先登录后发表或查看评论

TCSVT 2024 | TUFusion：基于Transformer的多模态图像通用融合算法

m0_59163425的博客

07-02

990

提出新型融合算法**：论文提出了一种新的基于混合结构的图像融合算法**TUFusion**，其核心结构包括编码器、融合层和解码器。该算法创新性地将Transformer与CNN相结合，既能利用Transformer强大的全局提取能力，又能发挥CNN出色的局部图像信息感知能力，提升了多模态图像融合的通用性。

DGLT-Fusion/ A decoupled global–local infrared and visible image fusion transformer

m0_47005029的博客

08-18

850

卷积神经网络（CNN）和生成对抗网络（GAN）等基于方法在图像融合领域取得了显著的性能。然而，这些方法主要集中于提取局部特征，对学习全局依赖关系关注较少。近年来，基于Transformer的融合方法凭借其出色的竞争性长期依赖建模能力取得了令人瞩目的成就，但这种方法同时处理长期对应关系和短期特征，可能导致全局-局部信息交互不足。为此，我们提出了一种DGLT-Fusion将全局-局部信息学习解耦为Transformer模块和CNN模块。长期依赖关系由一系列。

TransMEF: A Transformer-Based Multi-Exposure Image Fusion FrameworkUsing Self-Supervised Multi-Task

u013049912的博客

09-29

1284

在本文中，我们提出了 TransMEF，一种基于 Transformer 的多重曝光图像融合框架，使用自监督多任务学习。该框架基于编码器-解码器网络，可以在大型自然图像数据集上进行训练，并且不需要地面实况融合图像。根据多曝光图像的特点，我们设计了三个自监督重建任务，并利用多任务学习同时进行这些任务；通过这个过程，网络可以学习多重曝光图像的特征并提取更通用的特征。此外，为了弥补基于 CNN 的架构中建立远程依赖关系的缺陷，我们设计了一种将 CNN 模块与 Transformer 模块相结合的编码器。

TCSVT 2024 | 用于红外和可见光图像融合的跨模态Transformer

m0_59164304的博客

07-03

1375

1. **提出跨模态变压器（CMT）**：论文提出了**跨模态变压器（CMT）**，通过空间和通道变压器在空间和通道域中捕获全局交互，以估计红外和可见光图像之间每个像素位置的不相关图，确定源图像之间的互补区域，有效保留源图像中的互补信息。

TCSVT2025 | 多模态融合 | CLIP驱动的Mamba模型实现多模态高光谱图像融合分类，代码开源！

ProNotes的博客

09-22

1322

TCSVT | 多模态融合 | CLIP驱动的Mamba模型实现多模态高光谱图像融合分类，代码开源！ M3amba: CLIP-driven Mamba Model for Multi-modal Remote Sensing Classification

TCSVT 2025 | 跨模态学习助力复杂工业过程异常检测：FmFormer框架与基准测试新突破

我爱计算机视觉

08-12

954

(b) 跨模态Transformer编码器通过交替堆叠多个自注意力层（MHSA）和交叉注意力层（MHCA）（如图 2(b) 所示）进行特征融合，旨在通过双向交叉注意探索不同模态特征之间的内部关系，产生电流到视觉和视觉到电流的标记。左下角的图片显示了炉壳上的异常区域，由于强水雾的干扰，其视觉特征难以检测。FmFormer通过跨模态学习，利用视觉（视频）和过程变量（电流）数据的互补优势，即使在复杂工业场景下（见图1所示），也能实现高精度的异常检测，为传统单模态方法的不足提供了一种可行的解决方案。

COD论文笔记TCSVT_2024 Efficient Camouflaged Object Detection Network Based on Global Localization

985小菜鸡

07-04

1505

GRD 通过利用高层特征引导低层特征，过滤大量噪声，同时保留更多边缘细节，从而显著提高了伪装目标检测的精度和细致度。

LeetCode热题100--70. 爬楼梯--简单

最新发布

2301_80071187的博客

12-20

108

这道题考察爬楼梯问题，每次可以爬1或2个台阶，求爬到n阶的不同方法数。采用动态规划解法，初始化dp数组，dp[0]=1，dp[1]=1。对于i≥2，dp[i]=dp[i-1]+dp[i-2]，即当前台阶的方法数等于前两个台阶方法数之和。最终返回dp[n]即为结果。该解法时间复杂度O(n)，空间复杂度O(n)。

智驾空间智能、物理智能、世界模型相关的最新论文和开源算法链接

Bonaventure的博客

12-16

997

这些资源涵盖了2025年自动驾驶领域的前沿研究，从空间推理到物理建模和世界模拟，提供了丰富的开源工具和理论框架。建议用户通过链接深入探索论文和代码，以应用于实际项目或进一步研究。如果您需要更详细的解读或特定应用建议，请随时补充信息！

JVM 之垃圾回收算法及其内部实现原理【垃圾回收的核心问题有哪些？分别怎么解决的？可达性分析解决了什么问题？回收算法有哪些？内部怎么实现的？】

人生快意事，读的好书，觅得良友

12-16

1356

JVM垃圾回收面临的核心问题有哪些？分别怎么解决的？可达性分析解决了什么问题？回收算法有哪些？内部怎么实现的？根节点枚举、安全点、安全区域、记忆集与卡表、写屏障、并发性可达性分析各自解决了什么问题？怎么协同工作的？ G1中他们是怎么协作的？

(leetcode) 力扣100 15轮转数组（环状替代）

qq_62235017的博客

12-18

950

我们利用这个过程，首先计算需要多少个从起点走回起点的圈数（count，为数组长度与步数的最大公约数，具体推推导后面会给），然后再遍历每一圈，通过创建一个临时变量（current,next，类似于指针的作用），来存储需要移动的变量将其移动到下一个位置，而下一个位置变为信的需移动变量，直到走完当前圈数。我们可以把数组想象一个圆圈，如果我们每次固定步数前进，肯定会在有限圈数回到出发点，这个过程中，有可能会遍历完数组所有数，有可能遍历有限数。这句话的意思是：在这个游戏中，你启动一次任务，只能覆盖到。

【算法笔记】AC自动机

u012559967的专栏

12-19

616

AC自动机: AC自动机是一种高效的多模式字符串匹配算法，它巧妙地将 Trie树的字典结构与 KMP算法的失配指针思想相结合，能同时在一段文本中查找多个模式串的所有出现位置，广泛应用于敏感词过滤、生物信息学序列分析等领域。在字符串匹配领域，我们会遇到两类问题：单模式匹配：给定一个文本字符串和一个模式字符串，判断模式字符串是否出现在文本字符串中。《【算法笔记】KMP算法》多模式匹配：给定一个文本字符串和多个模式字符串，判断所有模式字符串是否出现在文本字符串中。解决方案：AC自动机算法。

从零开始写算法——链表篇4:删除链表的倒数第 N 个结点 + 两两交换链表中的节点

m0_59624833的博客

12-15

869

hot100链表的两道题详解。

八大排序之：冒泡排序、快速排序和堆排序

t2786024916的博客

12-16

824

冒泡排序（Bubble Sort）是一种简单的排序算法，它重复地遍历要排序的数列，一次比较两个元素，如果它们的顺序错误就把它们交换过来。这个算法的名称由来是因为越小的元素会经由交换慢慢"浮"到数列的顶端（升序排列）。

Leetcode 79 最佳观光组合

im_AMBER的博客

12-17

544

每个元素只遍历一次只用了两个变量O(n)O(1)公式拆分是核心：将原得分公式拆分为，把双变量问题转化为单变量的遍历问题。贪心维护最优值：遍历j时，用best维护之前所有i < j中的最大值，这样每一步只需要 O (1) 计算，整体时间复杂度是 O (n)。遍历顺序：因为要求i < j，所以从j=1开始遍历，先计算当前j的得分，再更新best（避免 j 自己和自己配对）。

算法基础（背包问题）-完全背包

2401_87986548的博客

12-20

620

本文介绍了完全背包问题的三种典型应用场景及解法。首先通过牛客网模板题讲解基础完全背包的两种状态（不超过容量和恰好装满），给出状态转移方程和初始化技巧。其次以洛谷P1616为例展示完全背包在采药问题中的简单应用。最后通过P2918和P5662两道题，分别演示了完全背包在"至少重量"限制和动态规划与贪心结合的场景下的解法。所有解法均包含状态表示、转移方程、初始化和空间优化思路，并附参考代码实现。文章通过具体题目展现了完全背包问题的灵活应用和变通解法。

深入解析 JVM 垃圾回收算法：经典 vs 新型 GC 算法

Knight

12-20

583

Java垃圾回收算法演进：从传统到现代摘要： Java垃圾回收算法经历了从传统到现代的演进过程。传统算法包括标记-清除（存在内存碎片问题）、标记-整理（解决碎片但开销大）、复制算法（适合年轻代）和分代收集（区分不同生命周期对象）。现代算法如G1采用分区思想实现低停顿，ZGC和Shenandoah通过并发标记/整理实现毫秒级停顿，都基于三色标记法解决并发问题。随着JDK更新，垃圾回收技术不断优化，G1适用于可控停顿场景，而ZGC/Shenandoah更适合大内存低延迟系统，代表未来发展方向。不同算法各有优劣

TCSVT 2023论文代码发布：基于图正则与特征感知的多视图聚类

其融合图结构先验与特征自适应机制的设计思路，对于推动多模态数据分析、跨域学习、弱监督学习等领域的发展具有重要意义。同时，支持 MindSpore 框架也体现了我国自主可控人工智能生态建设的实际落地成果，促进了高...