- 博客(21)
- 收藏
- 关注
RSS订阅原创 CDDFuse: Correlation-Driven Dual-Branch Feature Decompositionfor Multi-Modality Image Fusion
提出了一个相关性驱动的分解损失函数来执行模态共享/特定特征分解，这使得跨模态的基本特征相关，同时使不同模态中的详细高频特征去相关。因此，我们的目标是通过分别增加和减少低频和高频特征之间的相关性来促进模态特定和模态共享特征的提取。base transformer encoder(提取共享特征里的提取低频基本特征，我们使用了一个具有空间自注意的Transformer，考虑到平衡性能和计算效率，我们使用LT块作为BTE的基本单元)5、提出的网络：模态特定和模态共享的特征提取是由一个双分支编码器实现的。
2024-04-01 10:54:16
323
原创 Semantic perceptive infrared and visible image fusion Transformer（杨）
（1）Vibashan等人[29]形成了一个用于图像融合的Spatio-Transformer框架，通过基于Transformer子网络和CNN子网络建立的网络来提取长程依赖和局部信息。transformer学习长距离依赖，两个基于transformer架构的语义建模模块来管理高层语义信息。语义建模模块将源图像的。（2）Li等人[18]设计了一个融合框架，通过卷积引导的Transformer网络将联合收割机本地和远程依赖特征结合起来。现有的融合方法侧重于学习全局和局部的特征，很少考虑建模的语义信息。
2024-04-01 10:53:50
243
原创 Semantic perceptive infrared and visible image fusion Transformer
此外，我们还引入了特征增强模块(FEM)，使融合图像具有更多的源图像信息。对于所提模型的无监督训练，我们提出了一个基于对比学习的纹理损失函数。该损失函数较好地保留了图像的纹理信息，使融合后的图像具有较好的视觉效果。在TNO和RoadScene数据集上进行的大量实验表明，我们的ASFFuse模型在定量和定性评估方面都优于最先进的方法。提出了一种基于自适应选择特征图(ASFFuse)的红外和可见光图像融合模型。融合部分加了两个模块，自适应和transformer模块（消融实验也是做的这两个模块。
2024-03-15 11:59:27
147
原创 TGFuse: An Infrared and Visible Image FusionApproach Based on Transformer and GenerativeAdversaria
1、transformer 融合模块通常由 空间transformer +通道 transformer 两部分组成。2、设计了一个transformer 模块。一、transformer 与对抗网络、1、通道令牌transformer。
2023-12-11 10:19:29
399
原创 Efficient and Model-Based Infrared and VisibleImage Fusion via Algorithm Unrolling
5、提出基于优化的图像分解模型，分解为基本图像B（低频信息）和细节图像D（高频信息）。2、流行的分解方法：金字塔变换、离散余弦变换、非下采样轮廓波变换、双边滤波器。4、新兴技术：算法展开。快速稀疏编码（将迭代算法计算图扩展为一个DNN）1、建立两个传统的优化模型实现两尺度分解。3、代表模型是AE和 U-net变体。
2023-12-07 14:53:29
144
原创 DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion 深度图像分解
提出一种自编码器网络：将图像分解为具有低频和高频信息的背景和细节特征图，解码器恢复原始图像。2、两尺度分解：背景图像和细节图像。
2023-12-05 21:20:40
167
原创 MATR:多尺度自适应变压器的多模态医学图像融合
提出了一种结合Transformer和GAN的红外和可见光图像融合方法；提出了一种基于Swin Transformer的图像恢复SwinIR，其中设计了多个残差Swin Transformer block (RSTB)作为深度特征提取模块，每个RSTB具有多个Swin Transformer层和一个残差连接；设计了自适应调制卷积核的自适应卷积（AC），使用自适应模块进行远程依赖关系的建模，采用不同深度的多尺度设计，结构性损失和特征级损失。：结构级损失（保证具有足够的结构细节）和区域级损失。
2023-10-31 21:28:18
52
1
原创 IMAGE FUSION TRANSFORMER
基于变压器模型（transformer）借助自关注机制对远程依赖关系进行建模。（2）使用ST融合策略融合多尺度特征：ST融合块由CNN和变压器分支组成，分别捕获本地和远程特征。（1）IFT由三部分组成:编码器网络、SpatioTransformer (ST)融合网络和嵌套解码器网络。（2）提出融合变压器方法，利用局部信息和模型远程依赖关系克服当前图像融合工作中存在的全局上下文的理解。轴向注意：现在高度轴上进行自注意，然后在宽度上进行。（1）采用新颖的空间变换融合策略。（4）空间-变形融合策略（ST）
2023-10-22 20:19:44
18
原创 Self-supervised feature adaption for infrared and visible image fusion自监督
二、 红外和可见光图像的融合和增强网络。一、自监督特征自适应网络。
2023-10-17 14:18:02
11
原创 渐进式语义注入和场景保真度的图像融合
传统方法：拉普拉斯金字塔、离散小波、非下采样contourlet变换、潜在低秩表示、稀疏表示、主成分分析和非负矩阵分解。浅层特征包含丰富的细节和结构信息（提出基于通道空间注意机制的浅层细节融合模块SDFM）提出：在特征层将语义感知任务中涉及的语义特征明确地注入融合网络。深度学习方法：预训练框架和端到端的融合框架。场景恢复分支：场景保真度路径和图像融合路径。基于交叉注意的深刻语义融合模块PSFM。
2023-10-16 15:21:27
32
原创 STDFusionNet: An Infrared and Visible ImageFusion Network Based on SalientTarget Detection（基于显著目标检测）
Nestfuse:考虑到没有下采样的网络无法从源图像中提取多尺度特征，基于巢连接网络（空间注意模型和通道注意模型用于提取融合信息：注意机制不可学习）热目标和背景纹理的保存是通过保证特定区域的强度和梯度的一致性来实现的。：从大量的图片中学习过完整的字典，通过学习过完整字典得到稀疏表示系数，然后利用融合后的稀疏表示系数重构图像。基于梯度和强度的比例维持， 构造损失函数通过调整损失项的权重来适应不同的融合任务。两种输入图像的属性不同，虽然采用的是相同的网络结构，但是各自的参数是独立训练的。
2023-09-26 17:16:54
27
原创 RFNet: Unsupervised Network for Mutually Reinforcing Multi-modal ImageRegistration and Fusion（配准融合）
输入一对未对齐图像Ix→y和Iy时，输出仿射参数paff = C(Ix→y, Iy)。根据paff，在规则的采样网格上施加paff，生成尺寸为H × W × 2的变形场φ。传统的融合方法包括六类：基于多尺度变换方法、基于稀疏表示的方法、基于子空间方法、基于显著性方法、基于混合方法。第一部分：粗配准模块，基于仿射变换模型进行全局校正。图像配准：（1）同一域的翻译图像输入网络中提高匹配精度加快收敛速度。（4）将多模态配准问题转换为变形平移图像和原图像的相似度。（2）采用可变形卷积，在未配准图像中的变形。
2023-09-24 15:29:12
35
原创 DenseFuse: A Fusion Approach toInfrared and Visible Images（红外和可见光的融合方法）
（2）l1-norm and soft-max 策略。（1）Decoder 代码。三、各个框架的卷积结构。
2023-09-24 15:28:52
16
原创 NestFuse: An Infrared and Visible Image FusionArchitecture Based on Nest Connection andSpatial/Cha（）
【代码】NestFuse: An Infrared and Visible Image FusionArchitecture Based on Nest Connection andSpatial/Cha（）
2023-09-21 15:33:30
23
原创 A multiscale residual pyramid attention network for medical image fusion （医学图像融合的多尺度残差金字塔关注网络）
MRI(或CT)图像是灰度图像，我们将其表示为Y2(或表示为Y1)。然后，我们把Y1和Y2放到我们的网络中，最后就可以得到融合的数据Y。如果原始数据包含PET或SPECT图像，我们将Y、Cb和Cr数据转换为RGB通道，得到融合图像。当网络的训练过程完成后，融合过程将自动运行，无需额外的参数调整。两个网络的结合： Residual attention network.+Pyramid attention network.唯一不足的是：不知道保存的模型从哪里来？
2023-09-19 20:56:25
18
原创 EMFusion: An unsupervised enhanced medical image fusion network（表层：显著性和丰富度和深层约束：编码的唯一信道）
训练一个名为FusionNet的网络来学习融合结果与源图像之间的映射关系。一个名为TransNet的网络被训练学习。三、深层次约束：唯一信息通道。
2023-09-19 10:00:10
38
原创 Learning a Deep Multi-Scale Feature Ensemble andan Edge-Attention Guidance for Image F（红外图像和可见光图像1）
红外图像和可见光图像融合
2023-09-18 21:51:46
29
对高级视觉任务中图像融合必要性的再思考-一种实用的基于渐进式语义注入和场景保真度的红外与可见光图像融合网络
2023-10-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人