即插即用模块
文章平均质量分 92
即插即用模块整理
松小白song
初出茅庐的小垃圾。
展开
-
即插即用模块-EMA跨空间学习的高效多尺度注意模块(论文+代码)
在各种计算机视觉任务中,通道或空间注意机制对于产生更多可识别的特征表示具有显着的有效性。然而,通过通道降维来建模跨通道关系可能会对提取深度视觉表征带来副作用。本文提出了一种新型的高效多尺度注意力(EMA)模块。为了保留每个通道上的信息和减少计算开销,我们将部分通道重构为批处理维度,并将通道维度分组为多个子特征,使空间语义特征在每个特征组内均匀分布。具体而言,除了编码全局信息以重新校准每个并行分支中的通道权重外,还通过跨维交互进一步聚合两个并行分支的输出特征,以捕获像素级成对关系。原创 2024-05-23 15:09:07 · 4639 阅读 · 2 评论 -
即插即用模块:Convolutional Triplet注意力模块(论文+代码)
由于注意机制具有在通道或空间位置之间建立相互依赖关系的能力,近年来在各种计算机视觉任务中得到了广泛的研究和应用。在本文中,我们研究了轻量级但有效的注意机制,并提出了三重注意,这是一种利用三分支结构捕获跨维交互来计算注意权重的新方法。对于输入张量,三元组注意力通过旋转操作建立维度间依赖关系,然后进行残差变换,并以可忽略不计的计算开销对通道间和空间信息进行编码。我们的方法简单高效,可以作为附加模块轻松插入经典骨干网。原创 2024-05-10 15:28:40 · 2676 阅读 · 0 评论 -
即插即用模块详解SCConv:用于特征冗余的空间和通道重构卷积
卷积神经网络(cnn)在各种计算机视觉任务中取得了显著的性能,但这是以巨大的计算资源为代价的,部分原因是卷积层提取冗余特征。最近的作品要么压缩训练有素的大型模型,要么探索设计良好的轻量级模型。在本文中,我们尝试利用特征之间的空间和通道冗余来进行CNN压缩,并提出了一种高效的卷积模块,称为SCConv (spatial and channel reconstruction convolution),以减少冗余计算并促进代表性特征的学习。原创 2024-04-15 10:09:23 · 2759 阅读 · 5 评论 -
即插即用模块反向残留移动块(iRMB)详解(论文+代码)
本文的重点是在权衡参数、FLOPs和性能的同时,为密集预测开发现代、高效、轻量级的模型。倒立残差块(IRB)是轻量级cnn的基础结构,但在基于注意力的研究中还没有相应的基础结构。本文从高效IRB和Transformer的有效组件的统一角度重新思考轻量级基础架构,将基于cnn的IRB扩展到基于注意力的模型,并抽象出一个用于轻量级模型设计的单残留元移动块(MMB)。根据简单而有效的设计准则,我们推导出了一种现代的反向残差移动块(Inverted Residual Mobile Block,iRMB)原创 2024-04-26 14:45:57 · 2612 阅读 · 0 评论 -
即插即用模块之DO-Conv(深度过度参数化卷积层)详解
卷积层是卷积神经网络(cnn)的核心组成部分。在本文中,我们建议用额外的深度卷积来增强卷积层,其中每个输入通道与不同的二维核进行卷积。这两个卷积的组合构成了一个过度参数化,因为它增加了可学习的参数,而结果的线性操作可以用单个卷积层来表示。我们把这个深度过度参数化的卷积层称为DO-Conv。我们通过大量的实验表明,仅仅用DO-Conv层替换传统的卷积层就可以提高cnn在许多经典视觉任务上的性能,例如图像分类、检测和分割。原创 2024-04-12 14:32:01 · 1596 阅读 · 0 评论