【知识星球】Attention网络结构上新，聚焦才能赢

最新推荐文章于 2024-06-16 09:00:00 发布
最新推荐文章于 2024-06-16 09:00:00 发布
阅读量309 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hacker_long/article/details/100138415
版权

640?wx_fmt=jpeg

继续咱们的“网络结构1000变”板块，最近上新的内容主要是Attention机制相关的网络结构，即网络如何选择真正感兴趣的区域进行处理，下面是一个代表，更多请移步知识星球网络结构1000变板块。

有三AI知识星球-网络结构1000变

CBAM

640?wx_fmt=png

以前介绍过的Dynamic Capacity Network，Perforated CNNs是从空间维度进行Attention，SENet是从通道维度进行Attention，而CBAM(

Convolutional Block Attention Module)则是同时从空间维度和通道维度进行Attention。

作者/编辑 言有三

通道方向的Attention通过通道内的空间关系获取，原理如下：

640?wx_fmt=png

同时使用最大pooling和均值pooling算法，然后经过几个MLP层获得变换结果，最后分别应用于两个通道，使用Sigmoid函数得到通道的Attention结果。

空间方向的Attention通过通道之间的空间关系获取，原理如下：

640?wx_fmt=png

首先将通道本身进行降维，分别获取最大池化和均值池化结果，然后拼接，再使用一个卷积层进行学习。

这两种机制，分别学习了“怎么看”，“以及看什么”，这样的两个模块可以很容易地嵌入到任何已知的框架中。

640?wx_fmt=png

上表展示了将这个方法用于不同模型后的结果，可知道该模型和SENet性能相当，都显著提升了baseline的性能，尤其是较深的ResNet50和ResNet101。

转载文章请后台联系

侵权必究

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

往期精选

言有三
关注
图神经网络实战（8）——图注意力网络(Graph Attention Networks, GAT)
盼小辉丶的博客
04-22 4408
图注意力网络 (Graph Attention Networks, GAT) 是对图卷积网络 (Graph Convolutional Network, GCN) 的改进，提出了一种通过自注意力 (self-attention) 过程计算的加权因子，而不是使用静态的归一化系数。在本节中，我们介绍了 GAT 架构。通过从线性变换到多头注意力的四个主要步骤，了解了 GAT 的工作原理，并在 NumPy 中从零开始构建了 GAT 层。最后，将 GAT 模型应用于 Cora 和 CiteSeer 数据集。
查看大模型对应的准确参数量和网络结构的实战代码
herosunly的博客
12-23 4万+
本文主要介绍了查看大模型对应的准确参数量和网络结构的实战代码，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 实战代码 2.1 案例一 2.2 案例二 2.3 案例三
【转载】Attention Mechanism in Deep Learning
weixin_30916125的博客
03-31 1431
本篇随笔为转载，原文地址：知乎，深度学习中Attention Mechanism详细介绍：原理、分类及应用。参考链接：深度学习中的注意力机制。 Attention是一种用于提升基于RNN（LSTM或GRU）的Encoder + Decoder模型的效果的的机制（Mechanism），一般称为Attention Mechanism。Attention Mechanism目前非常流行，广泛应用于机...
5-11attention网络结构
持之以恒
02-02 253
SENET
Transformer系列：Multi-Head Attention网络结构和代码解析
最新发布
2401_84495872的博客
06-16 781
Self Attention就是自身和自身进行Attention，具体为句子内部的每个字/词之间进行通信，计算出句子中每个字/词和其中一个目标字/词的注意力权重，从而得到目标字/词的embedding表征self attention示意图在Transformer中Self Attention采用Scaled Dot-Product Attention（缩放点积注意力），采用**向量内积计算两两字/词的相似度**，相似度越大注意力权重越大，融合这个词的信息越多。
Attention机制结构详解
kira_kang的博客
09-15 1465
引言 Bert使用了Transformer为主要框架，Transformer能够更彻底的捕捉语句中的双向关系。Transformer的整个网络架构完全是由attention机制组成。因此，想要了解Bert需要从认识attention机制开始。
attention结构理解。
a_123456598的博客
09-19 630
attention结构理解。 一、概念 1.起源 2.定义。 注意力机制（Attention）没有特别严格的限制，只要是从画面大量信息中提取出有用的核心信息，就能算做是attention机制。 （比如传统的局部图像特征提取、滑动窗口等方法都可以看作是注意力机制。） 注意力机制通常是一个另外的一个神经网络，给输入的不同部分分配不同的权重。 3.意义 给重要的部分分配更大的权重，能够使模型的性价比更高。 4.种类 （1）空间维度：inception-v1（google-net）
史上最小白之Attention详解
热门推荐
Tink1995的博客
03-24 10万+
1.前言 说到attention机制，那可真是太牛逼了。不会attention都不好意思说自己视深度学习从业者，那么今天我们就来一步一步剖析一下这近几年来最火的深度学习模型。 2.Encoder-Decoder 2.1Encoder-Decoder简介 Encoder-Decoder框架顾名思义也就是编码-解码框架，目前大部分attention模型都是依附于Encoder-Decoder框架进行实...
基于Attention机制的轻量级网络架构以及代码实现
深度学习技术前沿
11-19 2981
点击上方，选择星标或置顶，不定期资源大放送！阅读大概需要10分钟Follow小博主，每天更新前沿干货导读之前详细介绍了轻量级网络架构的开源项目，详情请看深度学习中的轻量级网络架构总结与代码...
Attention的可解释性及其在网络结构中的应用
yinizhilianlove的博客
06-24 1354
来源: AINLPer 微信公众号（每日更新…） 编辑: ShuYini 校稿: ShuYini 时间: 2020-06-18 引言      本文首先讨论了使用注意力的关键神经网络体系结构；接着讨论了在神经网络中加入注意力是如何带来显著的性能提高的，通过Attention的可解释性，对神经网络内部工作的有了更深入的了解；最后讨论了三个应用领域的注意建模的应用。 参考论文获取：关注 AINLPer 回复：AMZS Attention在神经网络结构中的应用     面将介绍三种与注意力机制结合使用的神经网.
Attention 机制
weixin_NineDays66
10-29 1747
SENet 详解 https://blog.csdn.net/xjz18298268521/article/details/79078551 图解 1.基础网络结构 2.各阶段计算方式公式 3.结构图： 简介 为了更清楚地介绍计算机视觉中的注意力机制，这篇文章将从注意力域（attention domain）的角度来分析几种注意力的实现方法。其中主要是...
Attention 网络层学习总结
weixin_45259896的博客
06-15 295
#目录： 一 ：必读的博客与论文 二 ：keras attention项目 三 ：对Attention的一些个人理解 #一：必读的博客与论文 1 Google 的论文：《Attention is all you need》 2 《attention is all you need》解读 3 《Attention is All You Need》浅读（简介+代码）（苏剑林大佬写的） 4 Transformer(一) – 论文解读 5 Attention原理及TensorFlow AttentionWr
浅谈Attention及Transformer网络
rosefun96的博客
12-09 1万+
1 Transformer 模型结构 Attention 的编码，把一个输入序列(x1,...,xn)(x_1,...,x_n)(x1​,...,xn​)表示为连续序列z=(z1,...,zn)\mathbf {z} = (z_1,...,z_n)z=(z1​,...,zn​).给定z\mathbf {z}z, 解码生成一个输出序列 (y1,...,ym)(y_1,..., y_m)(y1​,.....
DNN结构：CNN、LSTM/RNN中的Attention结构
wishchinYang的专栏
07-06 1万+
前言        attention作为一种机制，有其认知神经或者生物学原理: 注意力的认知神经机制是什么？        如何从生物学的角度来定义注意力？        大多数attention (gating) 技巧都可以直接加入现有的网络架构，通过合理设计初始化和训练步骤也可以利用现有网络的预训练参数。这大大扩展了这些技巧的适用范围。        参考此文：Recurrent...
新的 self-attention 网络结构，Visual Attention Network
skyfengye的博客
02-22 1956
随着现在大家把transformer 的各种结构玩成花以后，后面也没有出什么比较经典的结构了。然后研究者们就开始挖掘以前的网络结构特点，加上各种技巧提高网络准确度。比如前段时间的ConvNeXt，各种叠技巧最后冲的很好准确度。现在又出来一个新的网络结构：Visual Attention Network。作者提出了一种新的Large Kernel Attention (LKA)模块，以使self-attention的自适应和长距离相关，同时避免了上述问题。 与MobileNet相似，它将一个标准的卷积解耦为
李宏毅深度学习self-attentin学习笔记
夏之微风的博客
09-10 499
注意力的本质思想就是说，考虑上下文的输入对当前的输入的影响，然后就和人的注意力一样，将重点放在部分输入上，值得被注意的、更为相关的输入会被分配更大的权重，也意味着更被重视。使用复杂的方式的原因在于，方法不固定，就可以利用计算结果，利用梯度下降法求出比最简单的方式可能效果更好的一种方法。接下来，我们自然会思考，在self-attention中，如何自动决定两个向量之间的相关系数为多少呢，如何自动决定2个变量之间的关联性呢。而是一次性同时被算出来的。当然，这里的输入也可以不是输入向量，而是中间层的隐藏向量。
attention各种形式总结
向着星辰大海
06-23 6万+
hard attention 记stst s_{t} 为decoder第 t 个时刻的attention所关注的位置编号 stistis_{ti} 表示第 t 时刻 attention 是否关注位置 i stisti s_{ti} 服从多元伯努利分布(multinoulli distribution)， 对于任意的 t , sti,i=1,2,...,Lsti,i=1,2,...,Ls_{t...
Attention注意力机制--原理与应用
joshuaxx316的专栏
04-24 10万+
注意力机制即Attention mechanism在序列学习任务上具有巨大的提升作用，在编解码器框架内，通过在编码段加入A模型，对源数据序列进行数据加权变换，或者在解码端引入A模型，对目标数据进行加权变化，可以有效提高序列2序列的自然方式下的系统表现。 Attention模型的基本表述可以这样理解成（我个人理解）：当我们人在看一样东西的时候，我们当前时刻关注的一定是我们当前正在看的这样东西的某一
轻量级网络的结构化注意力知识蒸馏提升性能
本文主要探讨了"Structured Attention Knowledge Distillation for Lightweight Networks"，这是一种针对轻量级网络设计的知识蒸馏策略，以解决在不同结构和计算复杂度下，传统知识转移方法效率低下的问题。知识蒸馏...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值