Transformer
文章平均质量分 90
🟢:“Anyi研习社” 领取全套资料
安逸 i
每天一点AI:资料、笔记、工具、趋势,一起进步。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
(ALL-IN-ONE)图像修复-NeurIPS2023-PromptIR Prompting for All-in-One Blind Image Restoration
PromptIR 提出了一种基于 prompt 学习(提示学习)的全能型图像恢复框架,能够在无需预先知道退化类型的情况下,对多种退化图像进行统一恢复。其核心思想是通过轻量级的 prompt 参数,动态引导主干网络在不同退化条件下自适应调整恢复策略。相比以往方法(如 AirNet)需要额外的对比编码器和两阶段训练,PromptIR 在结构与训练方式上更加高效和通用。原创 2025-10-10 09:20:48 · 1031 阅读 · 0 评论 -
图像修复-CVPR2024-Bidirectional Multi-Scale Implicit Neural Representations for Image Deraining
针对图像去雨任务,本文提出 🌧️NeRDRain:一种端到端多尺度 Transformer 方法。该方法融合了 📍基于像素坐标的隐式神经表示与退化图像,有效增强对空间变化雨纹的建模能力与鲁棒性。同时引入 🔁多尺度双向反馈机制(粗到细 & 细到粗),加强不同尺度特征的信息交互,实现更强的协同表示与高质量去雨效果。原创 2025-07-11 11:52:30 · 995 阅读 · 0 评论 -
图像修复-ECCV 2024-Efficient Frequency-Domain Image Deraining with Contrastive Regularization
本文提出了一种融合频率域特征的高效图像去雨框架 FADformer。其核心模块 FADBlock 由两部分组成:FFCM 同时在空间和频率域进行卷积操作,结合局部与全局信息,提高建模效率;PGFN 引入残差通道先验,通过门控机制增强局部细节与结构保持能力。此外,训练过程中引入了 频域对比约束(FCR),通过利用负样本中的雨纹模式,进一步提升去雨性能。原创 2025-06-05 15:44:27 · 1231 阅读 · 0 评论 -
图像修复-频域TransformerMamba-2024-A Hybrid Transformer-Mamba Network for Single Image Deraining
这篇论文提出了一种新型去雨网络 TransMamba,结合频域 Transformer 和 Mamba 状态空间模型两种分支,有效建模雨迹的长距离依赖与频域特征。通过双分支特征融合与频谱增强机制,TransMamba 在多个数据集上显著优于现有方法。原创 2025-05-13 16:11:58 · 1456 阅读 · 0 评论 -
Transformer-CVPR2025-线性注意力-Breaking the Low-Rank Dilemma of Linear Attention
本工作提出了一个非常有意义的观点:线性注意力虽然高效,但其表达能力受限于“低秩”问题。为此,作者引入了“秩增强”机制,既保留了线性复杂度,又提升了建模能力,最终构建的 RAVLT 模型在 ImageNet 上表现优异,展示了线性注意力在视觉领域进一步发展的可能性。原创 2025-04-30 17:35:46 · 2536 阅读 · 0 评论 -
Transformer-图像匹配-CVPR2021-LoFTR: Detector-Free Local Feature Matching with Transformers
LoFTR的提出,是将Transformer模型的注意力机制在特征匹配方向的应用,Transformer的提取特征的机制,在自身进行,本文提出可以的两张图像之间进行特征计算,非常适合进行特征匹配。原创 2024-09-06 16:18:32 · 1775 阅读 · 0 评论 -
Transformer-医学图像-MICCAI 2021-Medical Transformer: Gated Axial-Attention for Medical Image
实际上是在医学领域的运行,只是在这基础上增加了门机制,实际上也就是在原来Axial-attention基础之上增加权重机制,虚弱位置信息对于数据的影响,发现虚弱之后的效果比Axial-Attention机制效果更好。原创 2024-09-05 12:50:17 · 1830 阅读 · 0 评论 -
Transformer-ICCV 2021-Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
swintransformer主要是在transformer的基础上引入类似于cnn的下采样,图片大小成倍减少,通道数成倍增加,使特征进行融合,减少了计算量其次的特点就是使用W-MSA和SW-MSA,两个为一组来进行特征提取。引入窗口和分层机制,在进行下采样,多层叠加提取特征。原创 2024-09-03 18:08:22 · 747 阅读 · 0 评论 -
Transformer-目标检测-ICLR 2021-Deformable DETR: Deformable Transformers for End-to-End Object Detection
举例源码中使用multi-scale都是四层。原创 2024-09-05 10:41:51 · 1247 阅读 · 0 评论 -
Transformer-ECCV 2020-DETR:End-to-End Object Detection with Transformers
紧接着是decoder,初始化object queries,都初始化为0,同时加上位置信息,首先q自己先进行self-attention,更新q,再由decoder提供q,encoder提供k和v,来进行multi-attention,整合多维度的信息,同时也是做多次,获得多个输出特征结果,这样的过程回经过6次。在encoder中进行embedding,将特征信息转换成多维度向量,通过transformer的self-attention机制,生成特征k,v。使用的数据集是coco数据集,现成的使用。原创 2024-09-03 11:48:15 · 453 阅读 · 0 评论 -
Transformer-ICLR 2021-VIT:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
将一张图的多个区域进行卷积,将每个区域转换成多维度向量(多少卷积核就有多少维向量)原创 2024-09-03 11:46:11 · 442 阅读 · 0 评论
分享