【注意力机制】《DCANet： Learning Connected Attentions for Convolutional Neural Networks》

最新推荐文章于 2023-05-07 17:15:25 发布
最新推荐文章于 2023-05-07 17:15:25 发布
阅读量2k 收藏 7
点赞数 2
分类专栏： 计算机视觉的注意力机制 论文分享 文章标签： DCANet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22764813/article/details/108382627
版权

文章链接：https://arxiv.org/abs/2007.05099

作者团队：北德克萨斯州大学

目录

1.Abstract

2.Deep Connected Attention

2.1Revisiting Self-Attention Blocks

2.2 Attention Connection

2.3 Size Matching

2.4 Multi-dimensional attention connection

4.Experiments

4.1 Classification on ImageNet

4.2 Ablation Evaluation

4.3 Visualization

4.4 Object detection on MS COCO

4.5 Connection Analysis

5.Conclusion

1.Abstract

目前自注意力机制无法充分的发挥其作用。所以提出了Deep Connected Attention Network(DCANet)，将DCANet和注意力一起训练，将有助于提升注意力的学习能力。同时该方法适用性广，不会受注意力模块或者基础网络结构的限制。

 

​​​​​​​2.Deep Connected Attention

 

 

2.1Revisiting Self-Attention Blocks

各种注意力的方法设计的处理方式都不一样，怎样找到一种很好的方式去使用DCANet用于各种注意力方式，需要研究；

作者将现有的所有注意力模块分解为三部分：特征抽取（Extraction），转换（transformation）和融合（fusion）；特征抽取：就是一个简单的特征抽取器；转换：就是将抽取的特征转换到非线性注意力空间；融合：就是将注意力特征和原始特征进行融合。图3就是四种常见注意力模块：

Extraction：假设卷积产生的特征是： X\in ^{C\times W\times H}，则通过抽取器g：G=g(X,w_{g})，来抽取特征，w_{g}就是抽取操作的参数，G是输出结果。当g操作没有参数时，w_{g}也就不需要了（就像池化操作）。Transformation：定义t为特征转换操作，一个注意力模块的输出可以表达为T=t(G,w_{t})。Wt代表了转换参数，T代表了输出结果。Fusion：注意力输出X^{'}\in R^{C\times W\times H}，可以表达为：X_{i}^{'}=T_{i}\circledast X_{i}，i代表了特征索引，"\circledast"代表了融合函数；

 

2.2 Attention Connection

注意力模块公式表达：

注意力模块使用结果表达：

f(.)代表connection function，alfa和beita是学习参数，T^~就是之前注意力模块的注意力map，当\alpha=1，\beta=0时，就是普通的注意力网络；

作者使用了两种方法实例化了connection function f（.）.

1）Direct Connection.连接方式：

i​​​​​​​是特征索引，T^~可以看做G的特征增强；

2）Weighted Connection.通过使用权值加和：

与直接连接相比，第二种方式引入了竞争关系；此外，很容易扩展到softmax形式，这样对于琐碎的特征更具鲁棒性；

实验结果显示：结果对于连接方式并不敏感，性能提升来源于注意力模块之间的连接，而不是连接函数的特定形式。因此最终，作者选用了直接连接（direct connection）；

 

2.3 Size Matching

在处理size的问题上，作者分别从通道和空间维度进行处理；

对于通道而言，作者使用了全连接层（后面加入层归一化和relu激活操作）转换通道C’至C通道；为了减少参数，作者将一个fc层使用两个轻量级的fc层代替；输出尺寸变为了C/r和C，r就是 缩减比例；在作者的实验中，作者使用两个fc层，r=16用于匹配通道size。

对于空间精度而言，通常使用平均池化。虽然最大池化也能达到效果，但是最大池化只考虑了注意力信息中的部分信息。另一个方法是卷积操作，但是该操作参数多，泛化性差，同时作者也做了消融实验进行效果对比。

 

2.4 Multi-dimensional attention connection

针对多维注意力操作：BAM和CBAM；作者沿着每一个维度进行了注意力图连接，确保连接不同维度连接都是独立的，这种分离的注意力连接带来了两个优点：1）减少了参数量和计算量；2）每一个维度都可以专注于注意力内部的属性；

 

4.Experiments

实验数据集：Imagenet和MS-COCO。

 

4.1 Classification on ImageNet

作者选用了三个网络结构：resnet50，MobileNetV2，和MnasNet1_0.，

注意力机制：SE，SK，GE，CBAM；

结论：加了注意力结构的性能网络好于没加注意力机制的网络；DCA-CBAM-Resnet50与CBAM-Resnet50（top-1）相比，性能提升了0.51%，DCA—SE—MobileNetV2与SE-MobileNetV2（top1）相比，性能提升了1.19%.

同时，MnasNet在加入了SE和CBAM后，性能下降，作者推测原因：该网络来自搜索空间，而SE和CBAM不是来自搜索空间（二者都包括学习层）。但是当作者使用了DCANet后，MnasNet的性能与原始的结果性能相似，作者认为是由于DCA模块传导多注意力模块，将信息进行结合所以获得了更好的分类性能。

 

4.2 Ablation Evaluation

Connection Schema：

结论：表2a中，DCA三种连接方式得出的性能都是优于SE-Resnet50，说明效果是否能优于原始注意力网络性能，不受连接机制影响。通过比较，作者最后选用了直接连接方式（direct connection）。

Network Depth:

比较主干网络分别是：SE-Resnet50，SE-Resnet101，SE-Resnet152，在使用了DCA后，性能分别提升了1.65%,0.58%,0.21%.当网络越深，性能提升越少；主要原因还是注意力机制在大网络提升性能的表现没有小网络提升性能能力强；

Size matching：

分别使用1个FC和两个轻量级的FC进行实验，Table2e中，直接使用1个FC可以获得最佳的top1性能，但是2个FC也可以获得相差不多的性能，且所需参数量更少；查看Table2c的性能，可以看到平均池化的效果优于最大池化；

Multiple Attention dimensions:

作者将DCANet整合进CBAM-Resnet50。表2b中显示，DCA加入之后，模型有一定的性能都有提升，但是提升效果却不一样，1）整合在通道注意力性能与整合在空间注意力性能相比提升了0.2%.2）与分别整合到通道注意力和空间注意力相比，两种都加入了DCA的效果更好；

 

4.3 Visualization

结论：加入DCA增强的模型连续关注在图像的关键部分，同时，也可以注意到中间特征区别比较大的部分也比较小；在CONV4-6处，可以看到DCA对CBAM的性能有提升，说明DCANet可以增强注意力模块的注意力，进一步提升CNN模型的特征提取能力；

 

4.4 Object detection on MS COCO

使用网络RetinaNet和Cascade R-CNN作为目标检测器，所有backbone使用ImageNet的预训练模型；测试结果如表3:

结论：从表3中可以看到，DCA的引入，RetinaNet性能几乎都有所提升；在Cascade R-CNN中，也可以看到性能的改善。这说明，DCANet对于目标检测效果也有所帮助；

4.5 Connection Analysis

作者分析了每个注意力连接的贡献比例，贡献比例计算使用：,作者使用resnet50作为主干网络，在SE，SK和SBAM进行实验。结果图5所示：

5.Conclusion

DCANet能够有效提升各种类型的注意力模块的性能，同时适用于分类和目标检测任务；

 

猫猫与橙子
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
DCANet:深度连接注意力网络
04-24
深度连接注意力网络（DCANet） 插图 图1. DCANet的示意图。 我们使用Grad-CAM可视化中间特征激活。 Vanilla SE-ResNet50在不同阶段的关注点发生了巨大变化。 相比之下，我们的DCA逐步增强了SE-ResNet50的递归调整焦点，并密切关注目标对象。 方法 图2.深度连接注意力网络概述。 我们将先前关注块中的转换模块的输出连接到当前关注块中的提取模块的输出。 在多个关注维度的上下文中，我们将关注沿着每个维度连接起来。 在这里，我们展示了一个具有两个注意维度的示例。 可以扩展到更大的尺寸。 执行 在此存储库中，所有模型都由实现。 我们在使用标准的数据扩充策略。 要复制我们的DCANet作品，请参考 。 训练有素的模型 :smiling_face_with_smiling_eyes: All trained models and training log files are submitted to an an
注意力机制又一大作！DCANet：学习卷积神经网络的连接注意力
深度学习技术前沿
08-14 4387
点击上方，选择星标或置顶，不定期资源大放送！阅读大概需要15分钟Follow小博主，每天更新前沿干货【导读】今天给大家分享一篇关于注意力机制方面的优秀论文，该论文提出了深度连接注意力网络...
长语句语音合成--Dynamic Convolution Attention (DCA)
zephyr_wang的博客
11-21 519
1 简介 本文根据2020年《LOCATION-RELATIVE ATTENTION MECHANISMS FOR ROBUST LONG-FORM SPEECH SYNTHESIS》翻译总结的。 基于注意力的端到端的text-to-speech (TTS) 系统尽管有能力在域内产生人类水平的语音合成，但在域外文本处理上容易出现文本对齐失败的情况。这些失败很可能是因为采用了简单的location-relative 注意力机制，其废除了基于内容的query/key比较。我们比较了两种注意力机制：locatio
DCANet:Learning Connected Attentions for Convolutional Neural Networks
Acmer_future_victor的博客
01-31 671
摘要 在本文中，我们提出了深度连接注意力网络（DCANet)，这是一种新的设计，它在不改变CNN模型内部结构的情况下，增强了CNN模型中的注意力模块。(原文写到,所有代码和模型都是公开的.) Introduction DCANet从前一个注意力模块中收集信息并将其传递给下一个注意力块,使注意力块之间相互协作,从而提高注意力的学习能力.在不修改内部结构的情况下,DCANet在注意块之间引入了一系列连接.它可以应用于各种自我注意模块,例如SENet,CBAM,SKNet等,而不考虑基础架构的选择.DCANet结
U-Net结构改进：双交叉注意力模块（DCA）
最新发布
记录
05-07 1万+
本文由迈阿密大学的研究团队于2023年3月30日发表，提出了双交叉注意力模块（Dual Cross-Attention , DCA），其目标是在轻微的参数和复杂性增加的情况下改进U-Net及其变体，能够简单而有效地增强u-net结构中的跳跃连接（skip-connection）。
论文阅读——DenseNet:Densely Connected Convolutional Networks
01-06
Densely Connected Convolutional Networks code 时间：2017(CVPR 2017 BestPaper) DenseNet将前面层所有输出均作为后面层的输入，传统的L层CNN只有L个前后层连接，DenseNet有L（L+1）/2的连接，前面层所有的feature...
【4】Imagenet classification with deep convolutional neural networks.pdf
08-26
We trained a large, deep convolutional neural network to classify the 1.2 million high-resolution images in the ImageNet LSVRC-2010 contest into the 1000 different classes. On the test data, we ...
卷积神经网络模型压缩技术（Hardware-oriented Approximation of Convolutional Neural Networks）
06-13
High computational complexity hinders the widespread usage of Convolutional Neural Networks (CNNs), especially in mobile devices. Hardware accelerators are arguably the most promising approach for ...
A shortly and densely connected convolutional neural network for vehicle re-identification
02-08
A shortly and densely connected convolutional neural network for vehicle re-identification
论文阅读——CcNet:A cross-connected convolutional network for segmenting retinal vessels using multi-scale
01-06
论文阅读：CcNet:A cross-connected convolutional network for segmenting retinal vessels using multi-scale CcNet 时间：2019/5 视网膜血管分割有助于帮助诊断糖尿病视网膜病变。目前RVS的自动分割面临着模型...
lwnet:最先进的视网膜血管分割与简约模型
05-30
可以的小W-Net 您已经访问了我们使用简约模型进行视网膜血管分割工作的官方存储库。 上图代表了一个 WNet 架构，它包含大约 7 万个参数，并且非常接近（或优于）其他更复杂的技术。 有关我们工作的更多详细信息，您可以查看相关论文： The Little W-Net That Could: State-of-the-Art Retinal Vessel Segmentation with Minimalistic Models Adrian Galdran, André Anjos, Jose Dolz, Hadi Chakor, Hervé Lombaert, Ismail Ben Ayed https://arxiv.org/abs/2009.01907, Sep. 2020 如果您能引用我们的工作，如果它对您有用，我们将不胜感激:) 注意：如果您只是在寻找我们的结果，您可以
【论文通俗解读】Learning Convolution Neural Networks for Graphs
weixin_39052229的博客
06-28 231
文章目录一、论文概述二、思路三、方法讲解1. Node Sequence Selection2. Neighborhood Assembly3. Graph Normalization4. 方法总结四、效果展现五、总结与思考 论文链接：https://arxiv.org/pdf/1605.05273.pdf 代码链接：https://github.com/seiya-kumada/patchy-san/ 一、论文概述 该文于2016年在顶会ICML上发表。 随着深度学习的发展，神经网络在文本，图像等结构化
arXiv 2019 《DCA: Diversified Co-Attention towards Informative Live Video Commenting》论文笔记
lch的博客
07-22 262
目录简介动机贡献方法实验 简介 北大电子工程与计算机科学学院、华科软件工程学院、北航软件学院合作的一篇文章，算是我看到的第二篇ALVC任务方面的论文，看这个版面和参考文献格式，感觉是投了ICML。 下载链接 task challenge：如何合理地利用视频和文本中丰富、多样的信息。 动机 作者先是分析了相关工作（实际上只有AAAI2019的那一篇，链接），指出该文章中没有将视觉信息和文字信息整合在一起，可能导致信息多样性有限。surrounding comments是基于video生成的，包含video
图神经网络论文阅读(二) Learning Convolutional Neural Networks for Graphs：ICML2016
qq_36618444的博客
01-09 742
# Learning Convolutional Neural Networks for Graphs 本文的三位作者都来自德国Heidelberg的NEC Labs Europe，文章提出了一种从图数据中提取局部连接区域的通用方法（PATCHY-SAN），用来解决图神经网络中的经典问题：如何在大规模的图上应用卷积？如何将卷积操作泛化到任意结构的图？通过实验证明了算法的有效性，并且模型的计算是高效...
【论文笔记】DUDA‑Net: a double U‑shaped dilated attention network for automatic infection area segmentati
m0_58678659的博客
04-07 2508
covid-19 的语义分割，分割病变肺部区域
Learning Convolutional Neural Networks for Graphs论文笔记
昼
11-04 135
Learning Convolutional Neural Networks for Graphs
注意力机制代码_增强注意力！DCANet：学习卷积神经网络的连接注意力
weixin_39929465的博客
12-09 376
DCANet: Learning Connected Attentions for Convolutional Neural Networks论文下载链接：https://arxiv.org/abs/2007.05099注：如果上述链接无法访问或者下载速度过慢，可以看文末，已上传至百度云，方便下载本文深入探索自注意力机制，并提出即插即用的DCA模块，增强你的注意力模型，提高网络性能！如DCA-CB...
【DCANet2022】DCANet: Differential Convolution Attention Network for RGB-D Semantic Segmentation
我的博客
10-19 1892
结合RGB图像和相应的深度图进行语义分割，证明了近年来的有效性。现有的RGB-D模态融合方法要么缺乏非线性特征融合能力，要么对两幅模态图像一视同仁，而不考虑固有的分布差距或信息损失。在这里，我们发现由于局部深度连续性，深度贴图适合提供对象的内在细粒度模式，而RGB图像有效地提供了全局视图。基于此，我们提出了一个像素差分卷积注意（DCA）模块，用于考虑深度数据的几何信息和局部范围相关性。此外，我们将DCA扩展到集成差分卷积注意（EDCA），EDCA传播远程上下文依赖关系，并无缝合并RGB数据的空间分布。DCA
自注意力和 CNN 的结合 ACmix : On the Integration of Self-Attention and Convolution
u014546828的博客
12-26 5748
本文首先证明了一个传统的核大小为 k x k 的卷积可以分解为 k^2 个单独的卷积，然后进行移位和求和操作。然后，将自注意模块中的 query、key 和 value 的投影解释为多个 1x1 卷积，然后计算注意力权重和值的聚合。因此，这两个模块的第一阶段包含类似的操作。与第二阶段相比，第一阶段的计算复杂度占主导地位。这种观察自然地导致了这两个看起来截然不同的范式的优雅集成，也就是说，混合模型 ACmix可以同时享受自注意和卷积的好处，同时与纯卷积或自注意对应的模型相比，具有最小的计算开销。
densely connected convolutional networks
03-16
密集连接卷积网络 (densely connected convolutional networks) 是一种深度卷积神经网络，它采用了密集连接 (dense connections) 的技巧来增强网络的表示能力。在密集连接网络中，每一层的输出都会连接到后面所有层的输入上，这样可以使得更多的特征能够被传递到后面的层。这种技巧可以有效减少网络中的参数数量，并且可以提高网络的泛化能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猫猫与橙子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值