保持客气哈-CSDN博客

原创 DGLT-Fusion/ A decoupled global–local infrared and visible image fusion transformer

卷积神经网络（CNN）和生成对抗网络（GAN）等基于方法在图像融合领域取得了显著的性能。然而，这些方法主要集中于提取局部特征，对学习全局依赖关系关注较少。近年来，基于Transformer的融合方法凭借其出色的竞争性长期依赖建模能力取得了令人瞩目的成就，但这种方法同时处理长期对应关系和短期特征，可能导致全局-局部信息交互不足。为此，我们提出了一种DGLT-Fusion将全局-局部信息学习解耦为Transformer模块和CNN模块。长期依赖关系由一系列。

2023-08-18 16:23:33 427

原创 Breaking Free from Fusion Rule/ A Fully Semantic-driven Infrared and Visible Image Fusion

红外和可见光图像融合在计算机视觉领域中起着重要作用。先前的方法努力在损失函数中设计各种融合规则。然而，这些实验设计的融合规则使方法变得越来越复杂。此外，它们大多只关注提升视觉效果，因此在后续的高级视觉任务中表现不尽如人意。为了解决这些挑战，在本文中，我们开发了一个语义级融合网络，充分利用语义引导，摆脱了实验设计的融合规则。此外，为了更好地理解特征融合过程的语义，我们以多尺度方式提出了一个基于Transformer的融合块。此外，我们设计了一个正则化损失函数，结合训练策略，充分利用高级视觉任务中的语义引导。

2023-08-15 11:01:58 342

原创 Rethinking the Image Fusion(PMGI)

本文提出了一种基于（PMGI）的快速统一图像融合网络，可以端到端实现各种图像融合任务，包括红外和可见图像融合、多曝光图像融合、医学图像融合、多焦点图像融合和全色增强。我们将图像融合问题统一为问题。一方面，网络被分为和进行信息提取。我们在同一路径中进行特征重用，以避免由于卷积导致的信息丢失。同时，我们引入路径传输块在不同路径之间交换信息，它不仅可以预先融合梯度信息和强度信息，而且还可以增强后续要处理的信息。另一方面，我们根据这两种信息定义了一种统一的损失函数形式，可以适应不同的融合任务。

2023-07-28 16:21:08 624

原创 A Deep Framework for Hyperspectral Image Fusion Between Different Satellites

最近，将低分辨率高光谱图像（LR-HSI）与不同卫星的高分辨率多光谱图像（HR-MSI）融合已成为提高HSI分辨率的有效方法。然而，由于不同的成像卫星、不同的照明条件和相邻的成像时间，LR-HSI和HR-MSI可能不满足现有工作所建立的观测模型，并且它们难以进行配准。为解决上述问题，我们针对来自不同卫星的LR-HSI和HR-MSI建立新的观测模型，然后提出了一个基于深度学习的框架，用于解决多卫星HSI融合的关键步骤，包括和。具体而言，我们首先构建一个名为，这些偏移用于将LR-HSI进行配准。

2023-07-28 15:04:06 375

原创 Dif-Fusion/ Towards High Color Fidelity in Infrared and Visible Image Fusion with Diffusion Models

颜色在人类视觉感知中起着重要作用，反映了物体的光谱。然而，现有的红外和可见图像融合方法很少探索如何直接处理多光谱/通道数据并实现高颜色保真度。本文通过提出一种新的扩散模型方法，称为DifFusion，来生成多通道输入数据的分布，从而增强多源信息聚合能力和颜色保真度。具体而言，我们，而是在潜在空间中，并进行正向和反向扩散过程。然后，我们使用去噪网络提取具有可见光和红外信息的多通道扩散特征。最后，我们将多通道扩散特征输入多通道融合模块，直接生成三通道融合图像。

2023-07-27 14:21:07 756 4

原创 VAE-根据李宏毅视频总结的最通俗理解

先简单了解一下自编码器，也就是常说的。包括一个编码器（Encoder）和一个解码器（Decoder）。其结构如下：自编码器是一种先把输入数据压缩为某种编码, 后仅通过该编码出原始输入的结构. 从描述来看, AE是一种方法.AE的结构非常明确, 需要有一个的Encoder和就一个相应的Decoder为什么要用VAE，原来的Auto Encoder有什么问题呢？那面下面是一个直观的解释。下图是。

2023-07-26 15:48:07 1643

原创 RFNet- Unsupervised Network for Mutually Reinforcing Multi-modal Image Registration and Fusion

为了便于计算和对光照幅度的线性变化的较弱敏感性，我们使用归一化互相关（NCC）作为相似性度量。

2023-07-17 11:45:27 1525 4

原创对卷积和全连接之间关系的学习（1*1卷积与全连接层可以互换吗？）

首先我们看一张图，它是一张关于卷积的操作：然后在看关于全连接的操作：从上面两张图中可以看出卷积的过程和全连接的过程，我们利用粉色的卷积核在image上进行卷积，进行内积计算得到输出值3，如下图；那么在全连接中是如何实现的呢？其实在全连接中相当于将6✖️6的image，也就是把6✖️6的36个pixel拉直成向量作为输入，在上图中的右边可以看到一个粉色的神经元里面的输出结果是3，它是通过一些线连接到刚才的向量上，这些线是带有权重的；

2023-07-09 22:58:30 1575

原创 Mac-终端操作

Psdcdcd （文件夹）cd ..lscat~代表rootmkdir xxxfind *.txtopen .cd -rm 文件名topkillman。

2023-07-08 15:22:37 4138

原创 Mac-终端相关操作

Psdcdcd （文件夹）cd ..lscatcp 文件名目标目录~代表rootmkdir xxxfind *.txtopen .cd -rm 文件名topkill了解有关命令的更多信息：man。

2023-07-08 15:21:49 889

原创 Git学习（mac）

下载与安装：git官网使用入口：win：右键菜单 git bashMac: 终端使用Git工作之前，我们需要做个一次性的配置。方便后续Git能跟踪到谁做了修改，我们需要设置对应的用户名与邮箱地址注意 git config 命令的 --global 参数，用了这个参数，表示你这台机器上所有的Git仓库都会使用这个配置，当然也可以对某个仓库指定不同的用户名和Email地址。

2023-07-08 14:27:00 276

原创 pytorch—实现各种注意力

所谓Attention机制，便是聚焦于局部信息的机制，比如图像中的某一个图像区域。随着任务的变化，注意力区域往往会发生变化。面对上面这样的一张图，如果你只是从整体来看，只看到了很多人头，但是你拉近一个一个仔细看就了不得了，都是天才科学家。图中除了人脸之外的信息其实都是无用的，也做不了什么任务，Attention机制便是要找到这些最有用的信息，可以想见最简单的场景就是从照片中检测人脸了。注意力机制的核心重点就是让网络关注到它更需要关注的地方。

2023-07-08 13:06:44 4388

原创 pytorch-Tensor

神经网络的数据存储中都使用张量（Tensor），那张量又是什么呢？

2023-07-06 21:10:25 620 1

原创 ReCoNet-Recurrent Correction Network for Fast and Efficient Multi-modality Image Fusion

近年来，深度网络在红外和可见图像融合（IVIF）中取得了重大突破，引起了广泛关注。然而，大多数，并且存在的问题。本文通过开发一种用于鲁棒且高效融合的循环校正网络ReCoNet，解决了这两个在学术界很少涉及的关键问题。具体而言，我们设计了一个来显式补偿几何失真，并使用来减轻幽灵状伪影等伪影现象。同时，网络由一个组成，并以循环的方式运行，显著降低了空间和计算复杂度。ReCoNet可以有效且高效地减轻轻微不对齐引起的结构失真和纹理伪影。

2023-07-03 13:22:34 721

原创 Fusion from Decomposition: A Self-Supervised Decomposition Approach for Image Fusion

图像融合作为一种替代解决方案，不仅可以从多个图像中生成一张高质量的图像，还可以从单个退化图像中进行图像恢复。图像融合的本质是整合源图像中的互补信息或最佳部分。目前的融合方法通常需要或和来训练监督或无监督模型。本文提出了一种强大的图像分解模型，用于融合任务，通过自监督表示学习，命名为DeFusion。DeFusion可以将源图像分解为特征嵌入空间，其中可以分离出和，而无需任何配对数据或复杂的损失函数。因此，在。得益于自监督学习的发展，我们可以通过一种简单但粗暴的预文本任务训练模型学习图像分解能力。

2023-06-30 14:43:13 1040 1

原创 LITE TRANSFORMER WITH LONG-SHORT RANGE ATTENTION

在这篇论文中，我们提出了一种高效的移动NLP架构——Lite Transformer，以在边缘设备上部署移动NLP应用。Transformer已经成为自然语言处理（例如机器翻译、问答系统）中无处不在的技术，但要实现高性能需要大量计算资源，这使得它在硬件资源和电池方面受限的移动应用中并不适用。

2023-06-29 14:55:00 869

原创 CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion

多模态（MM）图像融合旨在生成保持不同模态优点的融合图像，例如功能亮点和详细纹理。为了解决建模跨模态特征和分解期望模态特定和模态共享特征的挑战，我们提出了一种新颖的基于的特征分解融合（CDDFuse）网络。首先，CDDFuse使用Restormer块提取跨模态浅层特征。然后，我们引入了特征提取器，Lite Transformer（LT）块利用长程注意力来处理低频全局特征和可逆神经网络（INN）块专注于提取高频局部信息。进一步提出了一，使低频特征相关而高频特征无关。

2023-06-29 13:42:15 3838 11

原创 TarDAL（Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse）

在本文中，提出了一个双层优化配方，共同实现融合和检测。通过将模型展开到设计良好的融合网络和常用的检测网络，我们可以生成视觉友好的融合和目标检测结果。为了促进这一领域的研究，我们提出了一个同步成像系统与可见光-红外传感器和收集多场景多模态基准。

2023-06-13 15:50:00 3579 3

原创 GAN-FM: Infrared and Visible Image Fusion Using GAN With Full-Scale Skip Connection and Dual Markovi

本文提出了一种新颖的全尺度跳跃连接和双马尔科夫辨别器（GAN-FM）来实现图像融合。首先，我们设计了一个全尺度跳跃连接的生成器来提取和融合不同尺度的深度特征，这可以促进浅层高对比度特征的直接传输到深层。其次，我们在模型中引入了两个马尔科夫辨别器，这限制了网络对局部区域的注意力，使融合结果不失合理性。此外，我们提出了一种有效的联合梯度损失，以确保对比度和纹理的和谐共存。因此，结果可以防止高对比度目标区域的边缘扩散引起的背景纹理污染。

2023-06-03 11:23:26 1009

原创 Image fusion based on generative adversarial network consistent with perception

在本文中，我们基于一个简单的端到端网络，加入了密集块来增强融合效果。此外，我们创新地在每一层将可见图像拼接在一起，使融合后的图像保留更多可见信息。我们设计了新的损失函数，使端到端网络能够更好、更稳定地生成融合图像。我们添加了SSIM损失函数以保持融合图像的结构与源图像相似，还添加了梯度损失以生成更多的边缘信息。我们没有使用通用的均方误差损失，因为均方误差会使网络学习到的数据分布更加“平均”，这并不适合GAN网络的功能——生成与“真实”数据分布足够接近的数据分布。

2023-05-31 10:29:10 471

原创 DetailGAN

我们提出了一种基于生成对抗网络的红外与可见光图像融合方法，能够同时保留红外图像中的热辐射信息和可见光图像中丰富的纹理细节。所提出的方法是一个端到端的模型，可以避免传统融合策略中手动和复杂的活动级别测量和融合规则的设计。特别地，我们设计了两个损失函数，即细节损失和目标边缘增强损失，以改善融合性能。细节损失用于更好地利用源图像中的纹理细节，而目标边缘增强损失旨在增强红外目标的边缘。由于这两个损失函数的作用，我们的结果可以同时很好地保留热辐射信息、红外目标边界和纹理细节信息。

2023-05-30 11:07:42 585 1

原创 SDDGAN-Semantic-Supervised Infrared and Visible Image Fusion Via a Dual-Discriminator Generative Adv

图像融合是将同一场景的多幅图像合成一幅新的图像。合成的图像应该适合于人类视觉感知和后续的高级图像处理任务。然而，现有的方法侧重于融合低层次的特征，。我们提出了一种新的端到端模型，以获得一个更语义一致的图像在红外和可见光图像融合，称为语义监督的双鉴别器生成对抗网络（SDDGAN）。特别是，我们设计了一个信息量判别（）块，以指导融合的进展。对于每个源图像，块确定用于保留每个语义对象的特征的权重。通过这种方式，生成器学习通过不同的权重来融合各种语义对象，以保持它们的特征。

2023-05-28 10:45:13 470 1

原创 TCCFusion/ An infrared and visible image fusion method based on transformer and cross correlation

这篇文章介绍了一种基于Transformer和交叉相关的红外和可见光图像融合方法，名为TCCFusion。传统的基于卷积操作的深度学习方法虽然具有良好的局部特征提取能力，但受限于有限的感受野，其建模长距离依赖性的能力受到限制。为了解决这个问题，作者设计了一个来保留局部互补信息，其中引入了一个密集形状网络来重复使用在卷积操作中可能丢失的信息。为了避免感受野的限制并充分提取全局重要信息，作者设计了一个由三个Transformer块组成的来构建长距离关系。此外，，以更有效地保留局部和全局有用信息。

2023-05-27 12:16:38 445

原创 STDFusionNet

本文提出了一种基于显著目标检测的红外和可见光图像融合网络STDFusionNet。我们明确地将红外和可见光图像融合的目标定义为红外图像中的显著区域和可见光图像中的背景区域。基于这个定义，我们将显著目标掩模引入到损失函数中，以精确地指导网络的优化。因此，我们的模型可以隐式地实现显著目标检测和信息融合，其结果不仅包含显著的热目标，还具有丰富的背景纹理。广泛的定性和定量实验表明，我们的STDFusionNet在主观视觉效果和定量指标方面优于现有的方法。此外，我们的方法比其他比较方法快得多。

2023-05-20 16:22:47 1199

原创 RXDNFuse: A aggregated residual dense network for infrared and visible image fusion

提出了一种新的基于聚合残差稠密网络的无监督IR/VIS融合网络RXDNFuse。与传统的融合网络相比，RXDNFuse被设计为一个端到端模型，结合了ResNeXt和DenseNet的结构优势。因此，它克服了手工和复杂的活动水平测量和融合规则的设计的局限性。建立了图像融合问题的IR/VIS图像的结构和强度的比例保持问题。RXDNFuse通过综合特征提取和组合，自动估计对应源图像的信息保存程度，提取层次特征，实现有效融合。

2023-05-18 20:31:51 476

原创 Different Input Resolutions and Arbitrary Output Resolution: A Meta Learning-Based Deep Framework fo

红外和可见光图像的融合技术广泛的应用，但是现有的融合方法在输入源图像和输出融合图像的空间分辨率方面都存在一定的局限性，很大程度上限制了实际应用。所以在本文中提出一个基于元学习的深度框架，用于红外和可见光图像的融合。与大多数现有的方法不同，该框架可以接受不同分辨率的源图像，并生成任意分辨率的融合图像，并且只需一个单一的学习模型。在所提出的框架中，每一个源图像的特征被第一个卷积网络所提取，同时根据实际需求被一个有任意适当因子的元放大模块进行放大。

2023-05-12 16:10:13 218

原创 Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion

图像融合集成了从不同传感器获取的一系列图像，例如，红外线和可见光，输出比任何一种都具有更丰富信息的图像。在这篇文章中，我们提出了一种用于红外和可见光图像融合的深度网络，它将特征学习模块与融合学习机制级联在一起。首先，我们应用一个从粗到细的深度架构来学习多模态图像的多尺度特征，这使得能够为后续的融合操作发现突出的共同结构。所提出的特征学习模块不需要对齐良好的图像对进行训练。与现有的基于学习的方法相比，所提出的特征学习模块可以集成大量的例子从各自的模态进行训练，增加了特征表示的能力。其次，在多尺度特征上。

2023-05-10 10:22:32 438

原创 SEDRFuse

现有的图像融合方法主要在像素级实现，这可能引入伪像和/或不一致性，而且计算复杂度会很高。在这篇文章中，我们提出了一个对称的编码器-解码器与残差块（SEDRFuse）网络融合红外和可见光图像。在训练阶段，训练SEDRFuse网络以创建固定特征提取器。在融合阶段，训练的提取器被用于提取中间和补偿特征，其分别由输入源图像通过残差块和前两个卷积层生成。两个由中间特征得到的注意力图再乘以中间特征进行融合，通过逐元素选择获得的显著补偿特征被传递到对应的反卷积层以进行处理。

2023-05-05 16:18:29 373

原创（CSF）Classiﬁcation Saliency-Based Rule for Visible and Infrared Image Fusion

在本文中，提出了一种新的深度模型，特别是一种新的基于分类显著性（CS）的融合规则，以解决可见光和红外图像融合（VIF）问题。在该方法中，我们采用一个分类器来分类两种类型的源图像。接下来，我们使用每个像素对分类结果的影响来衡量它们的重要性/贡献，并生成分类显著性图。因此，特征图的重要性/唯一性可以由具有较少人类参与的显著性图来表示。然后，可以根据显著性图来融合特征图，并用于生成融合结果。以这种方式，不需要人工设计融合规则或人工决定要保留的特征。从而突破了深度学习应用于融合规则的瓶颈，即特征图的不可解释性。

2023-04-26 10:15:30 785 1

原创 DRF: Disentangled Representation for Visible and Infrared Image Fusion

在这篇文章中，我们提出了一种新的分解方法，通过应用可见光和红外图像融合（DRF）的（解离化表示）。根据成像原理，我们根据可见光和红外图像的信息来源进行分解。更具体地说、我们将图像分别通过相应的编码器分别将图像分解成与场景和传感器模态（属性）相关的表征。这样一来，由属性相关表示法所定义的独特信息就更接近于每一类传感器单独捕获的信息。因此，不适当地提取独特信息的问题可以得到缓解。然后，不同的策略被应用于这些不同类型表征的融合。最后，融合后的表征被送入预训练的生成器以生成融合的结果。

2023-04-25 11:36:28 630 1

原创一文搞懂Anaconda，Miniconda，conda，pip

问题：假如你手上有两个项目，分别为项目A和项目B，项目A要求使用Python2的运行环境，而项目B要求使用Python3运行环境，那我们应该怎么办呢？方法一：同时下载两个版本的Python，即分别下载Python2和Python3解释器, 配置系统环境变量。方法二：使用Anaconda中的conda可以帮助我们为不同的项目建立不同的虚拟运行环境，即项目A 放在环境A中，项目B放在环境B中，二者互不干扰。而又假如它们要求使用的软件包的版本也不同，如果来了更多的项目,我们又应该怎么办呢？

2023-04-15 13:30:52 2730

原创 DDcGAN（升级版）

本文提出了一种新的端到端模型–双鉴别器条件生成对抗网络（DDcGAN），生成器的目标是基于专门设计的内容损失生成逼真的融合图像以欺骗两个鉴别器，而两个鉴别器的目标是区分融合图像与两个源图像之间的结构差异以及内容损失。DDcGAN融合图像具有与红外图像相似的特性。这可以避免传统方法中通常发生的热辐射信息模糊或可见纹理细节丢失。

2023-04-09 11:48:42 615 3

原创 RFN-Nest: An end-to-end residual fusion network for infrared and visible images

在图像融合领域，设计中最困难的部分是选择合适的策略来生成针对手头特定任务的融合图像。因此，设计可学习的融合策略是图像融合领域一个非常具有挑战性的问题。为了解决这个问题，一种新的端到端的融合网络架构（RFN-Nest）的红外和可见光图像融合。我们提出了一，这是基于残差架构，以取代传统的融合方法。提出了一种新的细节保持损失函数和一种特征增强损失函数来训练RFN。融合模型的学习是由一个新的两阶段的训练策略。

2023-04-08 21:15:53 934 1

原创 NestFuse

本文提出了一种新的红外和可见光图像融合方法，该方法建立了基于嵌套连接的网络和空间/通道注意力模型。从多尺度的角度来看，基于嵌套连接的网络可以保存来自输入数据的大量信息。。在我们提出的融合策略中，空间注意力模型和通道注意力模型被发展，它们描述了每个空间位置和每个具有深度特征的通道的重要性。首先，将源图像输入编码器，提取多尺度深度特征。然后提出了一种新的融合策略，对每个尺度下的特征进行融合。最后，利用嵌套连接解码器重构融合图像。

2023-04-06 11:55:01 564

原创常用的生成模型速览-VAE、Flow-based Model、Diffusion Model、GAN

假设我们今天的图像生成任务是拿一段文字生成一张图，一张图所包含的信息是胜过千言万语的，而你输入的文字只不过是其中的一部分，所以说给一个句子生成的图像是有多种可能的。也就是输出是一个分布，在这个分布内的都可以说是正确答案今天的影像生成的模型都有一个共同的套路，并不是直接给一段文字就输出，而是有一个额外的输入，这个额外的输入的是从某一个distribution（简单的你长什么样的distribution）sample出来的一个向量（高维），如果我们把文字用y来描述，影像用x来描述，那么正确答案就可以写成p。

2023-04-06 11:40:21 1873 1

空空如也

空空如也