- 博客(87)
- 收藏
- 关注
原创 【论文阅读】Contextual Transformation Network for Lightweight Remote-Sensing Image Super-Resolution
当前的超分辨率网络通常通过设计轻量级结构来减少网络参数和多加操作,但轻量化卷积层往往被忽视。在这项工作中,我们观察到 3×3 卷积在大多数轻量级超分辨率网络中占据了很大比例的网络参数。这促使我们考虑通过用轻量级卷积替换 3×3 卷积来减轻超分辨率网络,同时保持性能。为此,我们提出了一个名为上下文转换层 (CTL) 的轻量级卷积层。它可以通过上下文特征提取模块产生有效的上下文特征,并通过上下文特征转换模块丰富提取的上下文特征。
2024-06-08 17:01:27
934
原创 【论文阅读】Mamba: Linear-Time Sequence Modeling with Selective State Spaces
基础模型,现在为深度学习中大多数令人兴奋的应用程序提供动力,几乎普遍基于Transformer架构及其核心关注模块。许多次二次时间架构,如线性注意力、门控卷积和循环模型,以及结构化状态空间模型(ssm)已经被开发出来,以解决变形金刚在长序列上的计算效率低下问题,但它们在语言等重要模态上的表现不如注意力。我们发现这些模型的一个关键弱点是它们无法执行基于内容的推理,并进行了一些改进。首先,简单地让SSM参数成为输入的函数,通过离散模态解决了它们的弱点,允许模型根据当前令牌有选择地沿序列长度维度传播或忘记信息。
2024-05-27 18:20:56
1284
2
原创 【论文阅读】A Spectral Grouping and Attention-Driven Residual Dense Network for HyperspectralImage Super-R
尽管基于卷积神经网络 (CNN) 的自然图像超分辨率 (SR) 取得了前所未有的成功,但由于高光谱维数,没有辅助高分辨率图像的高光谱图像 (HSI) SR 仍然是一项具有挑战性的任务,其中学习有效的空间和光谱表示非常重要。在本文中,我们介绍了一种新的基于 CNN 的 HSI SR 方法,称为光谱分组和注意力驱动的残差密集网络 (SGARDN),以促进所有光谱带的建模并专注于空间光谱特征的探索。
2024-05-19 12:19:53
894
2
原创 【论文阅读】Learning Spatial-Spectral Prior for Super-Resolution of Hyperspectral Imagery
最近,通过利用基于深度卷积神经网络(DCNN)的先进机器学习技术,单个灰度/RGB图像超分辨率重建任务得到了广泛的研究和显着的进展。然而,由于高维和复杂的光谱模式,在单个高光谱图像超分辨率方面的技术发展受到了限制。本文通过研究如何使基于最新残差学习的单个灰度/RGB图像超分辨率方法适应计算高效的单个高光谱图像超分辨率(SSPSR),向前迈出了一步。具体地,我们引入一个空间-光谱先验网络(SSPN)来充分利用高光谱数据的空间信息和光谱之间的相关性。
2024-05-19 10:20:18
863
原创 【论文阅读】HPRN: Holistic Prior-embedded Relation Network for Spectral Super-Resolution
光谱超分辨率 (SSR) 是指从 RGB 对应物中恢复的高光谱图像 (HSI)。由于 SSR 问题的一对多性质,单个 RGB 图像可以重新投影到多个 HSI。解决这一不适定问题的关键是插入多源先验信息,如RGB图像的自然空间上下文先验、深度特征先验或HSI的固有统计先验,以有效减轻不适定程度。然而,目前大多数方法仅考虑其定制的卷积神经网络 (CNN) 中的一般和有限先验,这导致无法保证重建光谱的置信度和保真度。
2024-05-06 16:32:41
931
1
原创 【论文阅读】Hyperspectral Image Super-Resolution Inspired by Deep Laplacian Pyramid Network
现有的高光谱传感器通常产生高光谱分辨率但低空间分辨率的图像,超分辨率在提高高光谱图像(HSI)的分辨率方面取得了令人瞩目的成果。然而,大多数超分辨率方法需要对同一场景进行多次观察,并在没有充分考虑光谱信息的情况下提高空间分辨率。在本文中,我们提出了一种受深度拉普拉斯金字塔网络 (LPN) 启发的 HSI 超分辨率方法。首先,LPN 增强了空间分辨率,它可以在不使用任何辅助观察的情况下利用自然图像的知识。LPN 通过使用多个金字塔级别以从粗到细的方式逐步重建高空间分辨率图像。
2024-05-06 16:21:48
820
2
原创 【论文阅读】 Loss Functions for Image Restoration with Neural Networks
神经网络正在成为计算机视觉和图像处理领域的核心,并且已经提出了不同的架构来解决特定问题。然而,神经网络损失层的影响在图像处理的背景下并未受到太多关注:默认且几乎唯一的选择是 l2 .在本文中,我们提请注意图像恢复的替代选择。特别是,我们展示了当人类观察者评估结果图像时,感知动机损失的重要性。我们比较了几个损失的性能,并提出了一种新的、可微分的误差函数。我们表明,即使网络结构保持不变,结果的质量也会随着损失函数的改善而显着提高。索引项 - 图像处理、图像恢复、神经网络工作、损失函数。
2024-05-06 16:11:31
1476
原创 【论文阅读】Scene-Adaptive Remote Sensing Image Super-Resolution Using a Multiscale Attention Network
遥感图像超分辨率一直是主要的研究热点,近年来提出了许多基于深度学习的算法。然而,由于遥感图像的结构往往比自然图像复杂得多,因此遥感图像的超分辨率仍然存在一些困难。首先,难以用同一模型描绘不同场景的高分辨率(HR)和低分辨率(LR)图像之间的非线性映射其次,遥感图像地物内部尺度范围大,单尺度卷积难以有效提取各种尺度的特征。为了解决上述问题,我们提出了一种多尺度注意力网络(MSAN)来提取遥感图像的多级特征。MSAN 的基本组件是多尺度激活特征融合块 (MAFB)。
2024-05-06 16:01:45
766
2
原创 【论文阅读】Cross-SRN: Structure-Preserving Super-Resolution Network with Cross Convolution
将低分辨率 (LR) 图像恢复为具有正确和清晰细节的超分辨率 (SR) 图像具有挑战性。现有的深度学习工作几乎忽略了图像固有的结构信息,而这些信息对 SR 结果的视觉感知起着重要作用。在本文中,我们设计了一个分层特征开发网络,以多尺度特征融合的方式探测和保存结构信息。首先,我们提出了一种基于传统边缘检测器的交叉卷积来定位和表示边缘特征。然后,交叉卷积块(CCB)被设计为具有特征归一化和通道注意力以考虑特征的内在相关性。
2024-05-06 15:54:41
833
原创 【论文阅读】Remote Sensing Image Super-Resolution via Dilated Convolution Network with Gradient Prior
由于成像传感器的限制,卫星图像的空间分辨率往往不足,即低分辨率(LR)。因此,提出了超分辨率(Super-resolution,SR),力图提高图像分辨率,完美弥补卫星传感器成像的不足。在这项研究中,我们开发了一种独特的具有梯度先验(DCNG)的扩张卷积网络用于遥感 SR,旨在使用梯度先验和有效网络提取强大的低级特征,然后重建高级特征细节。DCNG 由两个组件构成:多尺度特征提取网络和特征重建网络。
2024-05-06 15:43:15
817
2
原创 【论文阅读】Hybrid-Scale Self-Similarity Exploitation for Remote Sensing Image Super-Resolution
最近,深度卷积神经网络 (CNN) 在遥感图像超分辨率 (SR) 方面取得了很大进展。基于 CNN 的方法可以从大量低分辨率和高分辨率对应物中学习强大的特征表示。对于遥感图像,在图像本身内部会重复出现许多相似的地面目标,无论是在同一比例尺内还是在不同比例尺之间。在本文中,我们认为这种内部递归可用于学习更强的特征表示,并且我们提出了一种新的用于遥感图像 SR 的混合尺度自相似利用网络 (HSENet)。具体来说,我们引入了一个单尺度自相似利用模块 (SSEM) 来计算同一尺度图像内的特征相关性。
2024-05-06 15:32:02
1018
原创 【论文阅读】Spectral–Spatial Attention Network for Hyperspectral Image Classification
卷积神经网络(CNN)和循环神经网络(RNN)等许多深度学习模型已成功应用于提取高光谱任务的深层特征。高光谱图像分类允许利用其丰富的信息来区分土地覆被的特征。在人类视觉系统注意力机制的激励下,本研究提出了一种用于高光谱图像分类的光谱-空间注意力网络。在我们的方法中,具有注意力的RNN可以学习连续光谱内的内光谱相关性,而具有注意力的CNN旨在关注空间维度上相邻像素之间的显着特征和空间相关性。实验结果表明,该方法能够充分利用光谱和空间信息获得有竞争力的性能。关键词:高光谱图像分类;注意机制;RNN;
2024-05-06 15:24:12
1202
1
原创 【论文阅读】Interactformer-Interactive Transformer and CNN for Hyperspectral Image Super-Resolution
图像(HSIs)因其丰富的光谱信息而被广泛应用于各个领域。然而,受成像系统的限制,HSI 的低空间分辨率已成为一个重要问题。在这篇文章中,为了提高空间分辨率,Interactformer 被提议与 transformer 和 3-D 卷积神经网络 (CNN) 分支提取的全局和局部特征进行交互。在transformer分支中,设计了一个可分离的线性复杂度的self-attention模块,以解决传统self-attention机制由于二次复杂度而导致内存开销大的问题。
2024-05-06 15:16:31
940
原创 【论文阅读】Achieving Super-Resolution Remote Sensing Images via the Wavelet Transform Combined With the R
深度学习 (DL) 已成功应用于单图像超分辨率 (SISR),旨在从低分辨率 (LR) 图像重建高分辨率 (HR) 图像。与大多数当前在空间域执行重建的基于 DL 的方法不同,我们使用基于频域的方案来重建各个频段的 HR 图像。此外,我们提出了一种结合小波变换 (WT) 和递归 Res-Net 的方法。将 WT 应用于 LR 图像以将其划分为各种频率分量。然后,使用精心设计的具有递归残差块的网络来预测高频分量。最后通过逆WT得到重建图像。
2024-05-04 18:21:35
1021
原创 【论文阅读】Sparse is Enough in Scaling Transformers
大型变压器模型在许多任务上都取得了令人印象深刻的结果,但训练甚至微调的费用很高,而且解码速度太慢,以至于它们的使用和研究变得遥不可及。我们通过利用稀疏性来解决这个问题。我们研究了变压器中所有层的稀疏变体,并提出了缩放变压器,这是下一代变压器模型系列,它使用稀疏层来有效地扩展,并在我们扩展模型大小时比标准 Trans- former 更快地执行非批处理解码。令人惊讶的是,稀疏层足以获得与具有相同参数数的标准变压器相同的困惑度。
2024-05-04 18:06:48
1280
3
原创 【论文阅读】HAT-Activating More Pixels in Image Super-Resolution Transformer
基于 Transformer 的方法在图像超分辨率等低级视觉任务中表现出令人印象深刻的性能。然而,我们发现这些网络只能通过归因分析利用有限空间范围的输入信息。这意味着 Transformer 的潜力在现有网络中仍未得到充分利用。为了激活更多的输入像素进行重建,我们提出了一种新颖的混合注意力转换器 (HAT)。它结合了通道注意力和自注意力方案,从而利用它们的互补优势。此外,为了更好地聚合跨窗口信息,我们引入了重叠交叉注意模块来增强相邻窗口特征之间的交互。
2024-05-04 17:58:06
1228
原创 【论文阅读】RFDN-Residual Feature Distillation Network for Lightweight Image Super-Resolution
单图像超分辨率 (SISR) 的最新进展探索了卷积神经网络 (CNN) 实现更好性能的能力。尽管基于 CNN 的方法取得了巨大成功,但由于需要大量计算,将这些方法应用于边缘设备并不容易。为了解决这个问题,已经提出了各种快速和轻量级的 CNN 模型。信息蒸馏网络是最先进的方法之一,它采用通道分裂操作来提取蒸馏特征。然而,这种操作如何帮助设计高效的 SISR 模型还不够清楚。在本文中,我们提出了特征蒸馏连接(FDC),它在功能上等同于通道拆分操作,同时更加轻量级和灵活。
2024-05-04 17:46:52
1046
原创 【论文阅读】Fast and Memory-Efficient Network Towards Efficient Image Super-Resolution
运行时和内存消耗是在资源受限设备上部署高效图像超分辨率 (EISR) 模型的两个重要方面。EISR [16、32] 的最新进展利用具有大量通道拆分和连接操作的蒸馏和聚合策略来充分利用有限的层次特征。相比之下,顺序网络操作避免频繁访问前面的状态和额外的节点,因此有利于减少内存消耗和运行时开销。按照这个想法,我们通过主要堆叠多个高度优化的卷积和激活层并减少特征融合的使用来设计我们的轻量级网络主干。我们提出了一种新颖的顺序注意分支,其中根据局部和全局上下文为每个像素分配一个重要因素,以增强高频细节。
2024-05-04 17:38:09
570
1
原创 【论文阅读】A Hybrid Network of CNN and Transformer for Lightweight Image Super-Resolution
最近,许多基于CNN的方法在单图像超分辨率方面取得了巨大进展。然而,这些现有架构通常构建大量网络层,带来高计算复杂性和高内存消耗,这不适合应用于诸如移动平台的嵌入式终端。为了解决这个问题,我们提出了一种用于轻量级图像超分辨率的CNN和Transformer(HNCT)混合网络。通常,HNCT由四个部分组成,分别是浅层特征提取模块、CNN和Transformer混合块(HBCT)、密集特征融合模块和上采样模块。
2024-05-04 17:28:50
1037
原创 【论文阅读】Learning Texture Transformer Network for Image Super-Resolution
我们研究了图像超分辨率 (SR),旨在从低分辨率 (LR) 图像中恢复逼真的纹理。最近的进展是将高分辨率图像作为参考(Ref),从而可以将相关纹理转移到 LR 图像。然而,现有的 SR 方法忽略了使用注意力机制从参考图像传输高分辨率 (HR) 纹理,这在具有挑战性的情况下限制了这些方法。在本文中,我们提出了一种用于图像超分辨率 (TTSR) 的新型纹理变换器网络,其中 LR 和 Ref 图像分别被表述为变换器中的查询和键。
2024-05-04 17:20:35
1227
原创 【论文阅读】ELAN-Efficient Long-Range Attention Network for Image Super-resolution
最近,基于变压器的方法通过利用自注意力 (SA) 进行特征提取,在各种视觉任务中展示了令人印象深刻的结果,包括图像超分辨率 (SR)。然而,在大多数现有的基于变压器的模型中,SA 的计算非常昂贵,而一些采用的操作对于 SR 任务可能是多余的。这限制了 SA 计算的范围,从而限制了 SR 性能。在这项工作中,我们提出了一种用于图像 SR 的高效远程注意力网络 (ELAN)。
2024-04-29 19:01:27
1151
原创 【论文阅读】Multi-Attention Based Ultra Lightweight Image Super-Resolution
轻量级图像超分辨率 (SR) 网络对于现实世界的应用具有极其重要的意义。有几种基于深度学习的 SR 方法具有显着的性能,但它们的内存和计算成本是实际使用中的障碍。为了解决这个问题,我们提出了一个多注意力特征融合超分辨率网络(MAFFSRN)。MAFFSRN 由作为特征提取块的建议特征融合组 (FFG) 组成。每个 FFG 都包含一堆建议的多注意块 (MAB),它们组合在一个新颖的特征融合结构中。此外,具有成本效益的注意机制 (CEA) 的 MAB 帮助我们使用多种注意机制改进和提取特征。
2024-04-29 18:57:27
1072
1
原创 【论文阅读】Image Super-Resolution with Non-Local Sparse Attention
非局部(NL)操作和稀疏表示对于单图像超分辨率(SISR)都至关重要。在本文中,我们研究了它们的组合,并提出了一种具有动态稀疏注意力模式的新型非局部稀疏注意力(NLSA)。NLSA 旨在保留 NL 操作的远程建模能力,同时享受稀疏表示的鲁棒性和高效性。具体来说,NLSA 通过将输入空间划分为相关特征的哈希桶的球形局部敏感哈希 (LSH) 来纠正非局部注意力。对于每个查询信号,NLSA 为其分配一个桶,并且只计算桶内的注意力。
2024-04-29 18:47:32
1242
原创 【论文阅读】Single color image super-resolution using sparse representation and color constraint
基于稀疏表示模型的彩色图像超分辨率重建通常采用正则化范数(如 L1 或 L2)。这些方法在一定程度上保持图像纹理细节的能力有限,容易导致彩色重建图像出现细节模糊和颜色伪影的问题。本文提出了一种将 L2/3 稀疏正则化模型与颜色通道约束相结合的颜色超分辨率重建方法。该方法将低分辨率彩色图像从 RGB 转换为YCbCr。L2/3 稀疏正则化模型旨在重建输入低分辨率彩色图像的亮度通道。然后采用颜色通道约束方法去除重建的高分辨率图像的伪影。该方法既保证了彩色图像细节的重建质量,又提高了彩色伪影的去除能力。
2024-04-29 18:39:55
754
原创 【论文阅读】SMSR-Exploring Sparsity in Image Super-Resolution for Efficient Inference
当前基于 CNN 的超分辨率 (SR) 方法平等地处理所有位置,计算资源在空间中统一分配。然而,由于低分辨率(LR)图像中缺失的细节主要存在于边缘和纹理区域,因此这些平坦区域需要较少的计算资源。因此,现有的基于 CNN 的方法涉及平坦区域的冗余计算,这增加了它们的计算成本并限制了它们在移动设备上的应用。在本文中,我们探索图像 SR 中的稀疏性以提高 SR 网络的推理效率。具体来说,我们开发了一个稀疏掩码 SR (SMSR) 网络来学习稀疏掩码以修剪冗余计算。
2024-04-29 18:33:04
1409
2
原创 【论文阅读】IPT:Pre-TrainedImageProcessingTransformer
随着现代硬件的计算能力在强烈增加,预训练的深度学习模型(如33.42928 216. BERT、GPT-3)在大规模数据集上的学习表现出 33.32933.226.7 与传统方法相比的有效性。big28.933.126.6IPTHANIPT的进步主要归功于transformer及其变体架构的表示能力-HANHAN IPT(ECCV 2020)(ECCV 2020)(ECCV 2020)。
2024-04-29 18:23:44
1602
1
原创 【论文阅读】Swin2SR: SwinV2 Transformer for Compressed Image Super-Resolution and Restoration
压缩对于通过流媒体服务、虚拟现实或视频游戏等带宽受限系统高效传输和存储图像和视频起着重要作用。然而,压缩不可避免地会导致伪影和原始信息的丢失,这可能会严重降低视觉质量。由于这些原因,压缩图像的质量增强已成为热门的研究课题。虽然大多数最先进的图像恢复方法都基于卷积神经网络,但其他基于变换器的方法(例如 SwinIR)在这些任务上表现出了令人印象深刻的性能。在本文中,我们探索了新颖的 Swin Transformer V2,以改进图像超分辨率的 SwinIR,特别是压缩输入场景。
2024-04-28 22:42:56
900
原创 【论文阅读】ESRT-Transformer for Single Image Super-Resolution
随着深度学习的发展,单图像超分辨率(SISR)取得了长足的进步。然而,大多数现有研究都侧重于构建具有大量层的更复杂的网络。最近,越来越多的研究人员开始探索 Transformer 在计算机视觉任务中的应用。但是,vision Transformer计算成本高、GPU显存占用高等问题也不容忽视。在本文中,我们提出了一种用于 SISR 的新型高效超分辨率变压器 (ESRT)。ESRT 是一种混合模型,由轻量级 CNN 骨干网 (LCB) 和轻量级变压器骨干网 (LTB) 组成。
2024-04-28 22:36:35
1386
原创 【论文阅读】Remote Sensing Image Super-Resolution Using Sparse Representation and Coupled Sparse Autoencod
遥感图像超分辨率(SR)是指提高空间分辨率的技术,有利于后续的图像解译,如目标识别、分类和变化检测。在流行的基于稀疏表示的方法中,由于复杂的成像条件和未知的退化过程,低分辨率(LR)观测图像的稀疏系数很难与真实的高分辨率(HR)对应物一致,这导致不能令人满意的 SR结果。为了解决这个问题,本文提出了一种新颖的耦合稀疏自动编码器(CSAE),以有效地学习 LR 和 HR 图像之间的映射关系。具体来说,首先将LR和HR图像用一组稀疏系数表示,然后建立CSAE来学习它们之间的映射关系。
2024-04-28 22:25:03
889
1
原创 【论文阅读】ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for Image Recognition and Bey
Vision transformers 在各种计算机视觉任务中显示出巨大的潜力,因为它们具有使用自注意力机制对远程依赖进行建模的强大能力。然而,他们将图像视为视觉标记的一维序列,在建模局部视觉结构和处理尺度方差时缺乏内在的归纳偏差(IB),而是从具有较长训练计划的大规模训练数据中隐式学习.在本文中,我们提出了一种通过从卷积中探索内在 IB 的 Vision Transformer Advanced,即 ViTAE。
2024-04-28 22:12:39
637
原创 【论文阅读】ViTAE:Vision transformer advanced by exploring intrinsic inductive bias
Transformer 在各种计算机视觉任务中显示出巨大的潜力,因为它们使用自注意力机制对远程依赖进行建模的强大能力。然而,视觉变换器将图像视为一维视觉标记序列,在建模局部视觉结构和处理尺度方差时缺乏内在的归纳偏差 (IB)。或者,他们需要大规模的训练数据和更长的训练计划来隐式学习 IB。在本文中,我们提出了一种新的 Vision Transformer Advanced by Exploring intrinsic IB from convolutions,即 ViTAE。
2024-04-28 22:00:34
1391
1
原创 【论文阅读】Unsupervised Learning of Image Segmentation Based on Differentiable Feature Clustering
本研究调查了卷积神经网络 (CNN) 在无监督图像分割中的应用。与监督图像分割类似,所提出的 CNN 将标签分配给表示像素所属的簇的像素。然而,在无监督图像分割中,事先没有指定训练图像或像素的地面真实标签。因此,一旦输入目标图像,像素标签和特征表示就会联合优化,并通过梯度下降更新它们的参数。在所提出的方法中,标签预测和网络参数学习交替迭代以满足以下标准:(a)相似特征的像素应分配相同的标签,(b)空间连续的像素应分配相同的标签,以及(c ) 唯一标签的数量应该很大。
2024-04-28 21:51:40
1074
原创 【论文阅读】Remote Sensing Image Super-Resolution via Mixed High-Order Attention Network
最近,遥感图像在环境监测等多项任务中变得越来越流行。然而,卫星传感器观测到的图像往往存在低分辨率(LR)问题,难以满足进一步分析的要求。超分辨率(SR)旨在提高图像分辨率,同时提供更精细的空间细节,完美弥补卫星图像的弱点。因此,在本文中,我们提出了一种用于遥感 SR 的创新混合高阶注意力网络(MHAN)。它包括两个组件:用于特征提取的特征提取网络,以及用于细节恢复的具有高阶注意力 (HOA) 机制的特征细化网络。在特征提取网络中,我们在所有跳过连接中将元素相加替换为加权通道级联,这极大地促进了信息流。
2024-04-28 21:39:09
1026
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人