- 博客(16)
- 收藏
- 关注
RSS订阅原创 【arXiv 2025】卷积加法自注意力CASAtt，轻量且高效，即插即用！
CASAtt模块结合了空间注意力和通道注意力机制来增强特征表达。该模块的核心思想是通过空间操作和通道操作分别对查询（Q）和键（K）进行增强，最终生成注意力加权的特征输出。
2025-03-18 20:25:10
1018
原创 【CVPR 2025】即插即用MambaOut，分类、检测、分割表现巨大潜力！
本文探讨了Mamba架构在视觉任务中的必要性，通过构建不包含状态空间模型（SSM）的MambaOut模型，验证了SSM对于图像分类任务并非必需，但对于检测和分割任务可能有益。
2025-03-18 20:18:33
2302
1
原创 【TPAMI 2024】卷积调制空间自注意力SpatialAtt，轻量高效，即插即用！
CAS-ViT模型在多个视觉任务上取得了优异的性能，包括图像分类、对象检测、实例分割和语义分割。
2025-03-17 20:09:41
972
原创 【CVPR 2025】局部区域自注意力LASA，用重叠补丁增强区域特征交互，即插即用！
LRSA能够捕捉到局部区域内的长距离依赖关系，从而增强模型对局部细节的处理能力。
2025-03-17 20:06:21
3013
原创 【CVPR 2025】高效视觉Mamba模块EfficientViM，即插即用！
EfficientViM提出了一种新颖的基于Mamba的轻量级视觉架构，通过HSM-SSD层有效捕获全局依赖关系，同时显著降低了计算成本。该架构在保持模型泛化能力的同时，通过多阶段隐藏状态融合进一步增强了模型的表示能力。
2025-03-14 20:19:19
973
原创 【arXiv 2025】强！轻量级双分支Mamba卷积，提取全局和局部信息，即插即用！
SS-Conv-SSM Block的设计旨在通过分组卷积和SSM层提取图像的局部和全局特征，同时通过通道洗牌避免信息损失，实现高效且准确的特征提取。
2025-03-14 20:15:52
1255
原创 【AAAI 2025】基于离散余弦变换的全频谱空间注意力，增强网络特征学习，即插即用！
基于离散余弦变换（DCT）的全频谱空间注意力。该模块首先对输入进行时间维度上的平均，然后使用DCT的全频带频率基提取完整的频率特征。通过线性层压缩这些特征并应用Sigmoid函数获得空间注意力权重矩阵，最后将权重矩阵与输入相乘以增强特征矩阵。
2025-03-13 21:40:32
1248
原创 【ECCV 2024】动态范围直方图自注意力DHSA，即插即用！
直方图自注意力机制，将空间特征按强度分段并进行分组，然后在各个分组内或分组间应用自注意力，以选择性地关注具有动态范围的空间特征，并处理长距离内相似退化的像素。
2025-03-13 21:36:48
1186
原创 【TIP 2024】高相似性传递注意力High-Similarity-Pass Attention，即插即用！
HSPA)是一种用于深度单图像超分辨率模型中的注意力机制。其核心原理是通过软阈值操作来生成稀疏的概率分布，从而有效地模拟包含大量不相关信息的长距离序列。
2025-03-12 13:45:34
1072
原创 【2025年即插即用】清华大学：用线性注意力实现Mamba并超越Mamba！
基于Mamba模型的核心设计，提出了MILA模型，该模型在多个视觉任务中均表现出色，证明了线性注意力Transformer通过集成Mamba模型的关键设计可以超越Mamba模型本身。
2025-03-12 13:32:12
2651
原创 【ICML 2024】重参数化BatchNorm，可直接替换现有归一化方法！
同时，为了提高Transformer的效率，研究者们尝试了多种方法，包括限制自注意力机制中token交互的范围、采用线性注意力机制以及替换LayerNorm为BatchNorm等。(b) 在推理过程中，可以得到γ=0，因此，Transformer块转变为基于RepBN的架构，该架构可以进一步重参数化为批量归一化，并与线性层合并。此外，SLAB-SwinT模型在ImageNet-1K上取得了83.6%的top-1准确率，比FlattenSwin模型低2.4ms的延迟。
2025-03-11 20:04:44
1100
原创 【重磅福利】2025年最新即插即用模块汇总！
汇总了2025年和2024年最新的即插即用的代码模块，包含众多新颖的注意力机制和新型的卷积操作，对模型涨点作用明显，可以很容易的嵌入各种网络模型中，是非常好用且容易改进的创新点！
2025-03-11 17:07:38
1205
原创 【arXiv 2025】卷积加法自注意力CASAtt，轻量且高效，即插即用！
提出了一种名为CAS-ViT的卷积加法自注意力网络，旨在移动应用中实现效率与性能之间的平衡。该网络通过引入卷积加法令牌混合器（CATM）和卷积加法自注意力（CAS）块，简化了复杂的矩阵运算，如矩阵乘法和Softmax，从而提高了效率。
2025-03-04 20:43:31
1084
原创 【CVPR 2025】高效视觉Mamba模块EfficientViM，即插即用！
EfficientViM提出了一种新颖的基于Mamba的轻量级视觉架构，通过HSM-SSD层有效捕获全局依赖关系，同时显著降低了计算成本。该架构在保持模型泛化能力的同时，通过多阶段隐藏状态融合进一步增强了模型的表示能力。
2025-03-04 20:24:43
3222
2
原创 【TPAMI 2024】卷积调制空间自注意力SpatialAtt，轻量高效，即插即用！
本文提出了一种名为Conv2Former的简单Transformer风格的卷积神经网络（ConvNet），用于视觉识别任务。该网络通过简化自注意力机制，利用卷积调制操作来编码空间特征，展示了在图像分类、目标检测和语义分割等任务上优于现有流行ConvNets和视觉Transformer模型的性能。
2025-03-03 20:21:09
836
原创 【ICLR 2025】极性感知注意力PolaLinAtt，NLP和CV通用，即插即用！
本文提出了一种名为PolaFormer的极性感知线性注意力机制，旨在解决传统线性注意力在视觉变换器中表达能力不足的问题，通过显式建模同号和异号查询-键对的交互，提高了模型的区分度和效率。
2025-03-03 20:06:21
1310
空空如也
训练siammask模型iou一直等于0
2023-03-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人