网络轻量化 - 注意力迁移（Attention Transfer）

最新推荐文章于 2023-09-30 16:54:43 发布
VIP文章 最新推荐文章于 2023-09-30 16:54:43 发布
阅读量4.1k 收藏 20
点赞数 3
文章标签： 网络 深度学习 计算机视觉 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Bro_Jun/article/details/122323357
版权

原文：《PAYING MORE ATTENTION TO ATTENTION: IMPROVING THE PERFORMANCE OF CONVOLUTIONAL NEURAL NETWORKS VIA ATTENTION TRANSFER》

目录

动机

在知识蒸馏中，教师网络学习到的注意力图也可以作为一种知识，蒸馏到学生网络中，从而提高学生网络的性能表现。

关于注意力图的生成方式，提出了**基于激活（activation-based）和基于梯度（gradient-based）**的两种注意力图表示方式。

前期知识

注意力机制

空间域（Spatial Domain）

通道域（Channel Domain）

SENet：

  • Squeeze：把原来 [ H ∗ W ∗ C ] [H*W*C] [H∗W∗C] 的特征，压缩为 [ 1 ∗ 1 ∗ C ] [1*1*C] [
最低0.47元/天 解锁文章
Bro_Jun
关注
  • 3
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
YOLOv5改进 | 注意力篇 | 添加MLCA混合局部通道注意力（轻量化注意力机制）
Snu77的博客
01-08 2189
本文带来的改进机制是翻译来就是混合局部通道注意力，它结合了局部和全局特征以及通道和空间特征的信息，根据文章的内容来看他是一个轻量化的注意力机制，能够在增加少量参数量的情况下从而大幅度的提高检测精度(论文中是如此描述的)，根据我的实验内容来看，该注意力机制确实参数量非常少，效果也算不错，而且官方的代码中提供了二次创新的思想和视频讲解非常推荐大家观看。YOLOv5改进有效涨点目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制YOLOv5改进专栏——持续复现各种顶会内容——内含100+创新目录。
PAYING MORE ATTENTION TO ATTENTION.pdf
04-09
Attention plays a critical role in human visual experience. Furthermore, it has recently been demonstrated that attention can also play an important role in the context of applying artificial neural networks to a variety of tasks from fields such as computer vision and NLP. In this work we show that, by properly defining attention for convolutional neural networks, we can actually use this type of in- formation in order to significantly improve the performance of a student CNN network by forcing it to mimic the attention maps of a powerful teacher network. To that end, we propose several novel methods of transferring attention, show- ing consistent improvement across a variety of datasets and convolutional neural network architectures.
Pay more attention to attention...Sergey Zagoruyko论文解读及代码解释
weixin_43316934的博客
04-23 4392
pay more attention to attention: improving the performance of convolutional neural networks via attention transfer 本论文由Sergey Zagoruyko, Nikos Komodakis等人2017年发表在ICLR上，作者提供了一部分代码，我做了注释，放在了github上。 作者...
轻量化网络学习 6 Attention-transfer
weixin_42630613的博客
07-27 969
文章目录0、注意力动机1、 注意力转移1、注意力机制3个类型空间域spatial domain：更多关注特征空间信息，决定空间中哪些区域重要，那些不重要通道域channel domain：关注通道信息混合域mixed domain：同时关注4个应用2、基于激活的注意力转移，前馈过程3、基于梯度的注意力转移，反馈过程2、轻量化改进手段3、研究意义4、总结5、论文总结6、最后 0、注意力动机 并不是首次提出，已经应用效果好； 来自知识蒸馏，只学习最后层的知识，本研究用在训练过程特征图中 1、 注意力转移 1、注
bottom-up-attention.pytorch:自下而上的注意力模型的PyTorch重新实现
05-10
自下而上的注意力 该存储库包含基于Caffe的项目的PyTorch重新实现。 我们使用作为后端来提供完整的功能，包括培训，测试和特征提取。 此外，我们从原始存储库中迁移了经过预训练的基于Caffe的模型，该模型可以提取与原始模型相同的视觉特征（偏差<0> = 3.6 > = 1.4 > = 9.2和cuDNN 顶尖 侦探2 射线 OpenCV Pycocotools 请注意，Detectron2需要上述大多数要求。 安装 克隆包含Detectron2所需版本（v0.2.1）的项目 # clone the repository inclduing Detectron2(@be792b9) $ git clone --recursive https:
蒸馏论文二（Attention Transfer）
蓝鲸鱼的博客
08-02 1345
本系列文章介绍一些知识蒸馏领域的经典文章。 知识蒸馏：提取复杂模型有用的先验知识，并与简单模型特征结合算出他们的距离，以此来优化简单模型的参数，让简单模型学习复杂模型，从而帮助简单模型提高性能。 1. Attention Transfer原理 论文Paying more attention to attention主要通过提取复杂模型生成的注意力图来指导简单模型，使简单模型生成的注意力图与复杂模型相似。这样，简单模型不仅可以学到特征信息，还能够了解如何提炼特征信息。使得简单模型生成的特征更加灵活，不局限于复
轻量自高斯注意力（LSGA）机制—论文总结和代码实现
qq_45981086的博客
09-30 1467
想改进高斯注意力？这篇论文给出答案！ ——轻自高斯注意力（LSGA）机制
基于注意力的知识蒸馏Attention Transfer原理与代码解析
00000cj的博客
02-18 2124
给定CNN某层的输出激活张量 \(A\in R^{C\times H\times W}\)，输入到一个基于激活的映射函数 \(\mathcal{F}\) 得到得到一个spatial attention map这里隐含的假设是一个隐含神经元激活值的绝对值可以用来表明该神经元对某个特定输入的重要程度，比如注意力图上某个位置的值越大说明网络越关注该位置。基于该假设，我们可以沿通道维度上计算这些值的统计数据来构建一个空间注意力图。如下图所示本文主要考虑了以下三种统计方法。
最近爆火的机器学习注意力机制Transfromer算法，究竟是何方神圣？
manchester20的博客
03-09 5156
通过一个偶然的项目实践经历，我接触了计算机视觉方面的相关知识，但是最开始我更多的是学习OpenCV相关的课程，在一个偶然的机会我了解到最近火爆全网的机器学习算法——Transfromer注意力机制算法，接下来我们就来看看他在图像处理方面究竟火在哪里： 定义： Transformer 最初是作为机器翻译的 Seq2Seq 模型提出的。后来的工作表明，基于 Transformer 的预训练模型 (PTM) 可以在各种任务上实现 SOTA。因此，Transformer，特别是 PTM，已成为 NLP 中的首选
Attention Transfer
Sundrops的专栏
11-07 1741
Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer Motivation 大量的论文已经证明Attention在CV、NLP中都发挥着巨大的作用，因为本文利用Attention做KD，即让student学习tea...
网络管理-信息化-企业信息化项目中的业务数据迁移研究.pdf
07-12
网络管理-信息化-企业信息化项目中的业务数据迁移研究.pdf
基于迁移学习及LSTM神经网络的气动力建模方法，transfer-lstm-master.zip
最新发布
03-21
基于迁移学习及LSTM神经网络的气动力建模方法，transfer-lstm-master.zip
经典轻量级CNN网络之MobileNet图像分类网络实战项目：常见102花图像分类迁移项目
03-03
基于轻量级MobileNet V3网络对常见花类数据集的迁移学习项目，包含代码、数据集和训练好的权重文件，可直接运行。 项目总大小：182MB 本数据集分为以下102类：columbine、cyclamen、english marigold等等共102类别...
经典轻量级CNN网络之ShuffleNet图像分类网络实战项目：常见102花图像分类迁移项目
03-03
基于轻量级ShuffleNet V2网络对常见花类数据集的迁移学习项目，包含代码、数据集和训练好的权重文件，可直接运行。 项目总大小：170MB 本数据集分为以下102类：columbine、cyclamen、english marigold等等共102类别...
NLP.TM[26] | bert之我见-attention篇
baidu_25854831的博客
01-29 1119
【NLP.TM】本人有关自然语言处理和文本挖掘方面的学习和笔记，欢迎大家关注。往期回顾：NLP.TM[19] | 条件随机场知识整理（超长文！）NLP.TM[20] | 词权重问题NLP...
Attention Is All You Need （Transformer）阅读笔记
G_State_Lavin的博客
11-30 425
Transformer模型细致讲解
最火的几个全网络预训练模型梳理整合（BERT、ALBERT、XLNet详解）
weixin_43301333的博客
03-15 1万+
过去两年可谓是NLP领域的高光年，自从18年BERT提出，狂刷了11项下游任务的记录之后，全网络预训练模型开启了NLP嵌入表示的新时代，真正意义上实现了自然语言处理的迁移学习。 作为一个刚入坑没多久的白中白，真心感叹自己接触太晚，但是又愁于感天动地的英文阅读能力，再加上原论文有些语句的描述实在是晦涩难懂，在翻阅大量博客和视屏之后，总算花了一整天时间，把过去几年最火的几个模型原理大致梳理明白了。借此写一篇博客，虽然许多内容参考了其他blog,但也是经过自己消化理解，按照自己的思路罗列的。...
Triplet Attention: 轻量且有效的即插即用注意力
m0_63642362的博客
08-01 6676
本文研究了轻量但有效的注意力机制，并提出了Triplet Attention，这是一种通过使用三分支结构捕捉交叉维度交互来计算注意权重的新方法。
空间域和变换域(以傅里叶变换为例)
热门推荐
幻世
11-25 3万+
空间域(spatial domain)以图像左上为原点，横为y竖为x的二维平面。 变换域在有些情况下，通过变换输入图像来表达处理任务，在变换域执行处理任务，然后再反变换到空间域会更好。 二维线性变换的通用形式可表示为： T(u,v)=∑x=0M−1∑y=0N−1f(x,y)r(x,y,u,v) T(u, v) = \sum_{x=0}^{M-1}\sum_{y=0}^{N-1}f(x, y
卷积神经网络轻量化方法
10-14
卷积神经网络轻量化方法有很多，以下是其中几种常见的方法： 1. 知识蒸馏（Knowledge Distillation）：将一个大型的模型的知识迁移到一个小型的模型中，从而达到轻量化的目的。 2. 参数剪枝（Pruning）：通过删除一些冗余的参数来减小模型的大小，从而达到轻量化的目的。 3. 网络结构设计：设计更加轻量化的网络结构，如MobileNet、ShuffleNet等。 4. 量化（Quantization）：将模型中的浮点数参数转换为整数参数，从而减小模型大小。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值