ACmix：卷积与self-Attention的融合

已于 2022-07-22 10:55:50 修改
阅读量6.1k 收藏 73
点赞数 8
分类专栏： 小铁匠每月小读 文章标签： transformer 深度学习 人工智能 计算机视觉 python
于 2022-07-18 22:09:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiehanhanzainal/article/details/125858912
版权

先附代码和文章，可以先结合来看

代码：GitHub - LeapLabTHU/ACmix: Official repository of ACmix (CVPR2022)​​​​​​​

文章：[2111.14556] On the Integration of Self-Attention and Convolution (arxiv.org)

        ACmix是卷积网络和transformer两种强大的网络优势的集合，具有较低的计算开销，同时也能提升网络性能，在卷积网络和transformer各行其是的今天，是一种融合两种优势的不错方法。

        这篇文章此次先介绍下ACmix的结构和代码，该结构的具体应用有时间更新。

        首先，该作者认为一个kxk卷积可以看做是由kxk个1x1卷积的拼接构成的，而transformer中的线性层也可以看做是一个1x1的卷积，这是这篇文章成立的前提。

        其次，作者在此基础上探索将两者的优势结合，提出如下图所示的结构，在两者都是由1x1卷积构成的前提下，将1x1卷积进行不同的组合构成卷积或者self-Attention，再将两种结构并行连接。

         首先卷积部分，当一个3x3卷积滑过一张图时，可分为两阶段，第一阶段是采用9个1x1卷积分别对图片做卷积操作，第二阶段是将得到的9个特征图按照一定的方式排列求和。例如，3x3卷积核的左上角的点不能与图片右上角像素点做乘积，而图片左上角像素点只与卷积核左上角权重相乘，则相应位置的1x1卷积应该往左上方偏移一个像素同时舍弃掉最右列与最下排的像素点，同理，可分析出9个1x1卷积的排列方式如下图所示：

最低0.47元/天 解锁文章
YOLO11改进|注意力机制篇|引入注意力与卷积混合的ACmix
A1983Z的博客
10-04 1348
YOLO11中添加ACmix注意力机制
YOLOv12改进策略【Conv和Transformer】| ACmix 卷积和自注意力的结合，充分发挥两者优势（二次改进A2C2f）
最新发布
Limiiiing的博客
03-07 61
本文记录的是利用改进检测模型，卷积和自注意力是两种强大的表示学习技术，本文利用两者之间潜在的紧密关系，进行二次创新，实现优势互补，减少冗余，通过实验证明，实现模型有效涨点。On the Integration of Self-Attention and Convolution传统的卷积可以分解为多个1×11×11×1卷积，然后是位移和求和操作。例如对于一个k×kk×kk×k的卷积核，可分解为k2k^{2}k2个1×1×1×卷积。自注意力模块中查询、键和值的投影可以看作是多个1×11×11×1卷积，然后计算注
深度学习笔记之Transformer(三)自注意力机制
静静的学习就好
06-16 2825
上一节对注意力分数(Attention Score)这个概念进行了总结。本节将基于缩放点积注意力机制(Scaled Dot-Product Attention)这种注意力分数的计算模式，介绍自注意力机制。
ACmix
qq_42129459的博客
04-17 1932
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 ACmix摘要一、KeyPoint二、设计方法1.Convolution2.读入数据总结 摘要 本文中，作者对卷积和self-attention进行对比研究，并证明了他们之间存在着很强的潜在关系，并且在某种意义上它们这两种操作实际上是在做相同的操作。
Self-Attention和CNN的优雅集成，清华大学等提出ACmix，性能速度全面提升
机器学习社区
12-03 3178
清华大学等提出了一个混合模型ACmix：它既兼顾Self-Attention和Convolution的优点，同时与Convolution或Self-Attention对应的模型相比，具有更小的计算开销。实验表明，本文方法在图像识别和下游任务上取得了持续改进的结果。 >>加入极市CV技术交流群，走在计算机视觉的最前沿论文链接：https://arxiv.org/pdf/2111.14
【模块】ACmix
2301_77549977的博客
02-23 422
产生一组丰富的中间特征。这种设计使ACmix既能享受到自注意力模块的灵活性，也能利用卷积的局部感受野特性。通过有效结合卷积和自注意力的优点，ACmix在多个视觉任务上显示出优于单一机制（仅卷积或仅自注意力）的性能，展示了其广泛的应用潜力。这种策略通过在单个框架中同时利用这两种机制的优势，来提升模型对特征的处理能力。ACmix通过优化计算路径和减少重复计算，提高了整体模块的计算效率，使其在不显著增加计算负担的前提下提升模型性能。优势的混合模块，旨在通过融合两种机制的优点来增强模型的表示能力和性能。
【YOLOv11改进-卷积Conv】ACmix(Mixed Self-Attention and Convolution) ：自注意力与卷积混合模型
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
10-17 4797
【YOLOv11改进】ACmix(Mixed Self-Attention and Convolution) ：自注意力与卷积混合模型
图文检索（3）：On the Integration of Self-Attention and Convolution
zhuzaiyebol的博客
09-27 1165
卷积和自注意力是表示学习的两种强大技术，它们通常被认为是两种截然不同的方法在本文中，我们表明它们之间存在着强烈的潜在关系，因为这两个范式的大部分计算实际上是通过相同的操作完成的。具体来说，我们首先证明，核大小为 k×k 的传统卷积可以分解为 k² 个单独的 1×1 卷积，然后进行移位和求和运算。然后，我们将自注意力模块中 query、key 和 value 的投影解释为多个 1×1 卷积，然后计算注意力权重并聚合值。因此，两个模块的第一阶段都包含类似的操作。
【YOLOv10改进-注意力机制 】ACmix(Mixed Self-Attention and Convolution) ：自注意力与卷积混合模型
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-03 875
卷积和自注意力是两个强大的表示学习技术，通常被认为是彼此独立的两种同级方法。在本文中，我们展示了它们之间存在一种强有力的内在联系，从计算的角度来看，这两种范式的主要计算实际上是通过相同的操作完成的。具体来说，我们首先展示了传统的k×k卷积可以分解为k^2个1×1卷积，再加上位移和求和操作。然后，我们将自注意力模块中查询、键和值的投影解释为多个1×1卷积，再计算注意力权重并聚合值。因此，这两个模块的第一阶段包含了相似的操作。更重要的是，与第二阶段相比，第一阶段在计算复杂度上占据主导地位（通道数的平方）。
YOLOv8改进 | 注意力机制 | 正确的 Self-Attention 与 CNN 融合范式，性能速度全面提升【独家创新】
kay_545
06-13 2146
YOLOv8改进，yolov8，添加注意力机制
卷积神经网络和transformer怎么结合
weixin_35756373的博客
02-12 880
卷积神经络 (Convolutional Neural Network, CNN) 和 Transformer 模型是两种不同类型的神经网络，分别适用于不同的计算任务。 CNN 用于图像识别，它通过使用卷积层(convolutional layer)和池化层(pooling layer)来提取图像的特征。 Transformer 模型是一种注意力机制的深度学习模型，用于处理序列数据，如自然语言处理...
89.77%准确率！谷歌提出CoAtNet：将卷积与自注意力结合
阿木寺的博客
06-12 1436
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：AIWalker标题&作者团队CoAtNet: Marrying Convolution and Att...
FCVIT：结合卷积和Transformer
m0_63642362的博客
02-07 1429
实现FCVIT，并迁移预训练模型
快速总结ACmix
qq_39027890的博客
10-11 381
自注意力机制：作者根据self-attention的原理，同样分解为两个阶段，把第一个阶段中将Q-K-V三个变量计算过程看成1×1的卷积核计算的过程。两个模块共享相同的1×1的卷积操作，重复使用计算后的特征图进行不同的聚合操作，最后将两个路径的输出加在一起，并由学习的参数进行控制比例。卷积操作：作者将核大小为K*K的卷积操作，进行分解为阶段一与阶段二，在阶段一的操作中存在着与1×1卷积核有着相同的计算构成的一部分。(2)提出了一种优雅的自注意力和卷积模块的集成方式，它兼具两者的优点。总之，上述分析表明，
ACmix:卷积和self-attention的结合，YOLOv5改进之ACmix
weixin_47060902的博客
11-03 533
yolov5改进之ACmix，卷积和自注意力结合
ACmix：自注意力与卷积的结合
m0_63642362的博客
08-01 2672
卷积和自注意力是表示学习的两种强大技术，ACmix将自注意力与卷积相结合，并通过大量实验证明其在图像识别和下游任务的竞争基线上取得了持续改进的结果
混合注意力 ACmix | On the Integration of Self-Attention and Convolution
YOLOv8项目贡献者
04-28 1408
CVPR2022 ACmix 注意力模块
ACmix 自注意力和卷积集成 On the Integration of Self-Attention and Convolution+
ResumeProject的博客
06-05 1089
pdf code 自注意力和卷积 自注意力⇆1×1卷积卷积自注意力 \overset{1\times 1 卷积 }\leftrightarrows 卷积 自注意力⇆1×1卷积​卷积 项目 分解阶段1 分解阶段2 kernel大小为k×k的传统卷积 k2k^2k2个单独的 1×1 卷积 然后进行移位和求和操作。 自注意力 查询、键和值的投影解释为多个 1×1 卷积 然后通过计算注意力权重和聚合值。 具有某种相似 此阶段占据更多计算 卷积(下图为stride=1的情况)
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值