- 博客(33)
- 收藏
- 关注
RSS订阅原创 【IVIF】CS2Fusion: Contrastive learning for Self-Supervised infrared and visible image fusion by estim
在红外与可见光图像融合（IVIF）中，利用图像级信息建立的先验知识约束往往会忽略源图像特征之间的同一性和差异性，无法充分利用红外图像对可见光图像的信息互补作用。为此，本研究开发了基于对比学习的自监督融合模型将红外图像视为可见光图像的补充，并开发了补偿感知网络（CPN），通过估计红外图像的特征补偿图来引导骨干网络生成融合图像。由于没有GT，有些方法会根据 IVIF 的经典定义（即融合图像需要保留红外图像的高对比度区域和可见光图像的背景纹理）[4-6]，对训练数据集进行人工标注。然而，根据这一定义。
2024-06-25 22:13:30
935
原创 【IVIF】Equivariant Multi-Modality Image Fusion
2024CVPR Zixiang Zhao团队分析透彻，方法耳目一新统一融合架构。
2024-06-23 21:42:05
834
原创 【IVIF】Frequency Integration and Spatial Compensation Network for infrared and visible image fusion
在本文中，我们通过探索离散傅立叶变换的相位和幅度分量的属性，对红外和可见光图像进行了全面的频率分析，并深入研究了它们的相位分量的整合。为了突出源图像中的显着对象，同时保留来自可见光图像的详细纹理和视觉质量，我们精心设计了两个核心设计：频率集成（FI）模块和空间补偿（SC）模块。具体而言，FI模块通过整合源图像的相位分量将红外图像中的显着对象合并到融合图像中。前者在频率域中整合了源图像的显着对象，同时保持了可见图像的视觉感知，后者通过空间域中细致的补偿机制改善了详细纹理，并突出了显著对象。
2024-05-16 20:53:10
359
原创 【IVIF】LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images
我们将融合任务数学化，并建立起其最优解与能够实现它的网络架构之间的联系。这种方法导致了一种新颖的方法，即构建一个轻量级融合网络。它**避免了通过试错策略进行耗时的经验性网络设计。**具体来说，我们采用了一种可学习的表示方法来处理融合任务，其中融合网络架构的构建由优化算法产生的可学习模型来引导。低秩表示（LRR）目标是我们可学习模型的基础。解决方案的**核心矩阵乘法被转化为卷积操作，并且优化的迭代过程被一个特殊的前向网络所替代。
2024-04-27 21:02:42
647
原创 【IVIF】Two-Level Consistency Metric for Infrared and Visible Image Fusion
本文的特征提取和图像重建部分的网络很简单，就使用了一个U-Net+，作者分析说IVIF任务没有GT，都是通过设计损失函数来约束融合图像和源图像之间的距离，这是一种**单层一致性度量**，即最终的融合结果接近于源图像之间的折中。作者认为源图像的高频信息没有很好保留（作者在行文里先举了几个例子来说明这一点）因此作者设计了一个分支，使用傅里叶变换，即高频注意力模块获取增强的源图像。
2024-04-24 15:30:30
780
原创 【IVIF】MAFusion: Multiscale Attention Network for Infrared and Visible Image Fusion
本篇的Baseline应该是DeepFuse，两阶段训练，固定AE后，再加入中间的融合层训练。融合策略的方式可以留意一下，把源图像的特征作差得到差异特征，然后求取加权值。编码器提取了4级多尺度特征，解码器中作者也是想使用多尺度的跳跃连接（有很多实现方式，作者试了一种）损失函数就一个平均梯度算子提取的梯度损失和一个像素强度损失。发表自TIM 2022代码公开。
2024-04-22 22:17:05
471
原创 【IVIF】Infrared and visible image fusion with entropy-based adaptive fusion module and mask-guided co
本文的思想也是把源图像分别分解为Base和Detai层，然后分别融合。分别代表什么？-------基础层主要考虑图像的像素强度信息，细节层考虑图像的纹理细节。本文的手动标注的Mask怎么用的？------设计了一个掩码损失本文使用了两次GF，将图像分解为一级基础层、二级基础层和细节层，一级基础层的融合使用的使用了最大绝对值规则来融合二级基础层对于包含许多纹理和边缘的细节层，我们构建了一个基于掩模引导的深度卷积神经网络来融合它，这里的--------别人都是对源图像做这样的分解。
2024-04-21 22:15:34
380
原创 【IVIF】SOSMaskFuse: An Infrared and Visible Image Fusion Architecture Based on Salient Object Segment
本文思想是使用显著物体分割（SOS）网络，获取感兴趣区域的相应，使用掩模将红外和可见光图像分解为红外前景、可见光前景、红外背景和可见光背景，然后分别融合。显著物体检测（SOD）的目标是分割图像中具有视觉显著性的区域。引用SOD任务中的一个网络来实现显著性Mask的提取，有些人的做法使用传统的显著性提取算法得到类似的Mask。本文创新点应该就是整体的一个框架吧，把用于解决SOD任务的HR-Net和RFN-Nest结合起来，没什么大的创新，实验做的比较丰富。
2024-04-20 21:53:46
693
原创 【红外与可见光图像融合】STFNet: Self-Supervised Transformer for Infrared and Visible Image Fusion
代码公开，这些图像对已经经过图像配准算法的预处理。我们引入了变形卷积，使得VIS和IR在特征上对齐。特征融合方面使用了自注意力和交叉注意力，虽然分别命名为细节自注意力和显著性注意力。但只是为了编故事。文章里没有提，代码里说明了这个块就是引用的2021的一篇CVPR【TransT Tracking】，直接拿来缝合的。本文框架：2021的CVPR作者说特征对齐模块解决了错位问题，并减少了融合图像中的伪影。作者举得没有完全对齐的例子–？频率损失：使用拉普拉斯算子把高低频分开，分别约束。
2024-04-19 21:57:34
357
原创 【红外与可见光图像融合】BTSFusion: Fusion of infrared and visible image via a mechanism of balancing texture and
在图像融合领域，保留源图像中最大量的相关信息在融合结果中是学者们的共识。然而，对于哪些信息应该被视为“有效”信息，仍然存在持续的争论。现有算法主要关注保留红外图像中的亮度信息和可见光图像中的纹理细节。我们旨在保持相对较少的模型参数数量，同时确保融合性能。作为一个端到端的模型，BTSFusion的目标是保持模型中前向结构的简洁，同时实现上述保留特征的目标。在网络框架的设计中，我们将算法的复杂性分配到损失函数中。
2024-04-18 22:26:41
536
原创 【红外与可见光图像融合】Infrared and visible image fusion based on a two-stage class conditioned auto-encoder ne
本文提到一些方法使用共享编码器从源图像中提取特征，并且采取手工制作的融合策略。我们的目的是让编码器从，因此我们在编码器中引入了类嵌入分支，对不同模态的特征进行建模，并根据输入模态自适应缩放中间特征。融合策略方面，使用了通道和空间注意力机制对不同模态的特征图进行加权。训练思路与RFN-NEST相同，两阶段训练，损失不同。代码不公开发表自Neurocomputing 2023。
2024-04-18 20:22:52
479
原创 【红外与可见光图像融合】CoCoNet: Coupled Contrastive Learning Network with Multi-level Feature Ensemble for Mult
现有的基于学习的融合方法尝试构建各种损失函数以保留互补特征，但忽略了发现两种模态之间的相互关系，导致融合结果中出现冗余甚至无效的信息。此外，大多数方法侧重于通过增加网络的深度来加强网络，而忽视了特征传递的重要性，导致重要信息的退化。为了解决这些问题，我们提出了一种耦合对比学习网络，称为CoCoNet，以端到端的方式实现红外和可见光图像融合。具体来说，为了同时保留两种模态的典型特征并避免在融合结果中出现伪影，我们在损失函数中开发了一种耦合对比约束。在融合图像中，其前景目标/背景细节。
2024-04-14 17:17:43
1255
2
原创 【红外与可见光图像融合】DSMGN: Dual-Supervised Mask Generation Network for Infrared and Visible Image Fusion
VIS图像只用来提取细节特征(高频成分)，因为IR中也有一些细节成分，所以细节特征提取分支的输入是IR和VIS，分别使用高斯模糊核提取了低频成分，然后源图像分别减去低频成分就得到了想要的高频成分（细节信息），然后基于最大值选择得到。*不同的是，本文在这里提取显著特征之后经过sigmoid得到一个类似与M1的权重图M2，先初步生成一个融合图像，Ipref与基于M1生成的图像做监督。本文不同于一般的IVIF融合框架（即分别提取源图像特征然后融合重建），本文的出发点就是把红外的显著信息和可见光的背景信息融合。
2024-04-11 20:07:28
327
原创 【红外与可见光图像融合】CUFD和DRF的阅读笔记
输出了中间层融合的结果，分析了特征，有一些不重要的部分在IR和VIS中都会出现，称之为common part，有一些重要的部分在IR和VIS展现出了差异性，要么IR更明显，要么VIS更明显，称之为unique part，我们把image encoder提取的特征图，进一步使用feature encoder 分解为common part 和 unique part，然后分别应用不同的融合策略。
2024-04-06 12:59:44
387
1
原创 【红外与可见光图像融合】GuideFuse: A Novel Guided Auto-Encoder Fusion Network for Infrared and Visible Images
目前深度网络有很强的语义表达能力，但还是难免损失一些细节。为了更好地保持源图像的细节，我们使用梯度来引导网络的训练。计算源图像的梯度图，并且计算了一个梯度值GV，一起引导解码器重建图像。同时，基于这个GV，设计了一个新的融合策略。作者在贡献里这样写：设计了一个新的半自动的融合策略来增强视觉信息。通过调整一对超参数，算法可以增强来自不同模态的细节。
2024-03-31 16:44:10
462
1
原创 【红外与可见光图像融合】SwinFuse和SwinFusion
SwinFuse则是在一开始阶段使用了1by1conv实现了位置编码，然后再送入SwinTR块，这里设置了3个块，每个块里有6层。2.SwinFusion提出了使用SA增强intra-domain 和使用CA增强inter-domain特征的概念。SwinFusion在特征融合阶段使用了两层SA-CA，在重建阶段则是使用了4层SwinTR。在融合层，使用了一个基于L1-norm的融合策略，分别从行和列的维度计算活动级别图。这里的L1就是强度损失啦，只不过没有权重来平衡IR和VIS的参与比重。
2024-03-31 14:29:25
456
1
原创 【红外与可见光图像融合】YDTR: Infrared and Visible Image Fusion via Y-Shape Dynamic Transformer
同一个作者，提出的框架基本一样，只不过这里把注意力机制和TR块合在一起命了个名，同时，本篇使用的是双分支，两个encoder分开提取，损失方面，把两个评价指标。感觉这几张图片，很难定义红外中的显著信息是什么，左边的房子屋顶在IR中很白，在VIS中很暗，但在右侧图片中，IR和VIS中的屋顶。这方面只能从提升指标出发，而指标的计算又涉及到了像素值的参与，所以图像融合中，互信息指的是什么？选取的评价指标也是比较少用的，对比方法也不新。TR块使用的是Swin Transformer~~(虽然作者没有提)~~
2024-03-30 12:58:34
260
2
原创 【红外与可见光图像融合】MFST: Multi-Modal Feature Self-Adaptive Transformer for Infrared and Visible
没有代码整体框架就是改进了RFN-Nest中间的融合模块，把当年对ViT的一个新改进的方法拿来用了。使用了很多损失，但个人觉得损失的权重系数的计算不是很好。
2024-03-21 22:29:14
531
3
原创 【红外与可见光图像融合】A Multi-scale Information Integration Framework for Infrared and Visible Image Fusion
本文改进了损失函数，使得损失项的权重系数可以自适应调整(可学习的)。网络部分就是提取了多尺度信息，不同尺度之间在特征融合阶段有交互，融合阶段使用了空间和通道dual attention，基于IR和VIS提取的特征不同，将（L+1）层的 IR 图像上采样到 L 层，与L层的VIS图像相加，做一个信息补充，然后使用注意力机制进行加权。
2024-03-16 18:01:13
1421
1
原创 【红外可见光融合】CrossFuse: A novel cross attention mechanism based infrared andvisibleimage fusion approach
可能的研究方向是将额外的机器学习方法，如稀疏表示和度量学习，整合到交叉注意力机制中，以增强其效果。
2024-03-09 22:18:40
1450
1
原创 【红外与可见光图像融合】Semantic perceptive infrared and visible image fusion Transformer
这项工作侧重于通过网络设计学习语义信息，但对损失函数的改进关注较少。此外，这项工作主要考虑了灰度图像的融合，这使得将成果扩展到多通道图像的融合变得困难。在接下来的工作中，我们将继续深入研究将语义信息引入融合任务的优势，通过设计有效的语义相关损失函数来约束网络训练过程。此外，我们将考虑多通道图像的固有特性，并设计具有高泛化性能的通用融合网络。
2024-03-07 16:53:24
1381
2
原创 【红外与可见光图像融合】Rethinking Cross-Attention for Infrared and Visible Image Fusion
本文的角度也很新奇，之前的transformer倾向于提取两种图像的共同信息，忽视了差异信息。我们提出的DIIM通过修改了Cross-attention，提取了差异信息。之前的Pixel损失要么使用了最大值抑制，要么是平均值抑制，我们提出了一个新的Pixel损失，可以很好的保持互补信息。代码未公开来自arXiv预印本。
2024-03-06 11:36:42
2305
2
原创 【红外与可见光图像融合】DATFusion：DATFuse: Infrared and Visible Image Fusion via Dual Attention Transformer
提到了未来的解决方向：由于配准是图像融合的前提，现有的图像融合方法只能解决静态场景的融合问题。未来，我们将提出一种实时图像融合方法，克服动态场景下图像融合的挑战，实现类视频的融合任务。
2024-03-04 21:28:16
1696
1
原创 【红外与可见光图像融合】Cross-Modal Transformers for Infrared and Visible Image Fusion
本文是一篇基于Transformer的VIF，对于CNN-based的方法的介绍也是提到了，CNN以一个固定的卷积核捕获局部信息，堆叠卷积层用于特征提取，但这样会损失细节和背景信息。提出的cross-modal transformer在空间域和通道域实现了信息的交互，去除了IR和VIS的冗余信息。实验表明，性能达到了SOTA，同时，也用于下游任务。
2024-03-02 19:11:53
1083
原创 pycharm运行conda创建的环境
您需要在"Interpreter"字段中提供完整的路径到conda创建的Python环境的解释器。例如，如果您的环境名称是“myenv”，则路径应该类似于： /Users/your_username/anaconda/envs/myenv/bin/python.在弹出的对话框中，选择"Conda Environment"并确保"Existing environment"选项被选中。在弹出的对话框中，展开“Project”选项，并选择“Project Interpreter”。
2023-05-17 15:56:25
1694
1
原创 双指针思想刷题记录
001 有序数组的平方有序数组平方分析原数组是以升序排列(单调性），考虑头尾两个指针，比较平方的大小，找出大的一个，放在新开数组的最后。代码vector<int> sortedSquares(vector<int>& nums) { int cnt = nums.size(); vector<int> res(cnt,-1); int i = 0,j = cnt - 1; int ind
2022-02-13 21:41:03
462
原创 BBBBB
第一问不能用插值拟合拟合的方法有21张图 归类分析 结论有什么相似性 能不能用一个函数关系表示出来第一问后半句？解读实验结果 （参考之前写的思维导图里的思路？？？？）可以用到什么检验，来评价自己的模型？？长江水质检测论文可以方便写作论文 催化剂的作用第二问着重研究偏最小二乘法 按照思维导图里写的第三问lingo程序 最优解？？？？...
2021-09-10 14:24:29
135
原创 spss操作
spss分组重新赋值https://zhuanlan.zhihu.com/p/129345664分类有序：有序分类变量是指各类别之间有程度的差别如尿糖化验结果按－、±、+、++、+++分类；疗效按治愈、显效、好转、无效分类。对于有序分类变量，应先按等级顺序分组，清点各组的观察单位个数，编制有序变量的频数表，所得资料称为等级资料序分类变量是指所分类别或属性之间无程度和顺序的差别。无序分类又可分为：1、二项分类，如性别（男、女），药物反应（阴性和阳性）等；2、多项分类，如血型（O、A、B、AB
2021-09-09 15:32:46
153
原创 数模国赛资料合集（自用）
数学建模题目大体分类评价类优化类预测类机理分析（比如说 人口模型 微分方程建模）竞赛心得见u盘国赛预备文件夹心得 建议 经济法律类数据https://zhuanlan.zhihu.com/p/33257485工具准备https://zhuanlan.zhihu.com/p/81147640他人的大总结https://congduan.blog.csdn.net/article/details/6979468数学建模方法大全https://blog.csdn.ne
2021-09-03 20:18:57
292
原创 matlab一点文件操作（自用）
文件操作clcclearf1=fopen('gosh.bin','w') %读取二进制文件fwrite(f1,[1:9]);%写入flag=fclose(f1);f2=fopen('gosh.bin','r')%只读打开A=fread(f2)%读取二进制文件中的数据fprintf&fscanffprintf 将数据写入fscanf （fileID,format,size) 读取的字符串数据若有单位需在格式里加上单位str='78F,72F,64F,65F,6F,95F'
2021-07-24 11:14:22
112
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人