深度学习（十五）self-attention

最新推荐文章于 2024-07-15 14:42:37 发布
最新推荐文章于 2024-07-15 14:42:37 发布
阅读量482 收藏
点赞数 1
分类专栏： 深度学习 文章标签： 机器学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43533956/article/details/117257417
版权

李宏毅老师课程链接
对于seq2seq的问题，可以选择用RNN或者CNN来解决，但是RNN无法做到平行的处理一个序列，也很难处理一个很长的序列。而CNN则需要多层才能看到比较多的信息。
在这里插入图片描述
而self-attention可以解决这些问题。

构建self-attention，首先将输入x转化成a，再把a分别转化成q,k,v，分别是匹配项，被匹配项和提炼信息。
在这里插入图片描述
将1个q和每个k一次做attention计算（点乘除以维数的根）得到a1i
在这里插入图片描述
然后把所有a1i做一次softmax。
在这里插入图片描述
把每个结果乘上vi，再把所有乘积相加得到b1.

最低0.47元/天 解锁文章
ZEKEGU1997
关注
专栏目录
深度学习论文: Separable Self-attention for Mobile Vision Transformers
mingo_敏
06-28 604
MobileViT是一种融合了CNN和ViT优点的混合网络，专为移动设备设计，具有较少的参数和较轻的计算负担。但其效率受限于多头自注意力（MHA）的高时间复杂度O(k^2)，这在处理大量令牌时成为瓶颈。为了解决这一问题，本文提出了一种具有线性复杂度的可分离自注意力方法，通过计算与潜在令牌相关的上下文得分来简化操作，大幅降低计算成本。这种方法使用逐元素操作，适合资源受限的设备。将此方法应用于MobileViT，形成了改进版模型MobileViTv2，通过替代MHA进一步提升了推理速度。
（深度学习）Self-attention
KNIGHT_HOY的博客
03-24 1618
文章目录self-attention三种seq输入输出类型Each vector has a labelSelf-attention得到一个seq输出过程上述矩阵化Multi-head Seft-attentionposition encodingApplication self-attention 三种seq输入输出类型 Each vector has a label Sequence labeling 如果但考虑一个vector 那机器没办法给同样的vector两个不同的label 比如说
超详解！Transformer + self-attention
idol24的博客
12-04 2176
‍‍点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！来源https://zhuanlan.zhihu.com/p/432814387作者Ziyang Li 东北电力大...
Self-Attention 自注意力机制（一）——Attention 注意力机制
qiaoxinyu1989的博客
07-15 970
Attention（注意力）机制如果浅层的理解，跟他的名字非常匹配。他的核心逻辑就是「从关注全部到关注重点注意力机制其实是源自于人对于外部信息的处理能力。由于人每一时刻接受的信息都是无比的庞大且复杂，远远超过人脑的处理能力，因此人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。图1可帮助大家较好地去理解注意力机制。Attention map展示了人类在看到一幅图像时，如何高效分配有限注意力资源。
自注意力（Self-Attention）
dx1313113的博客
01-22 1万+
循环神经网络由于信息传递的容量以及梯度消失问题，实际上也只能建立短距离依赖关系。为了建立长距离的依赖关系，可以增加网络的层数或者使用全连接网络。但是全连接网络无法处理变长的输入序列，另外，不同的输入长度，其连接权重的大小也是不同的。这时，提出了自注意力模型，可以“动态”地生成不同连接的权重。自注意力模型的结构：输入n个，输出也是n个，但是会考虑整个sequence（有context）自注意力机制实际上是注意力机制。
收藏！各种各样神奇的自注意力机制（Self-attention）
Kaiyuan_sjtu的博客
10-25 608
作者|谢博士整理|PaperWeekly总结下关于李宏毅老师在 2022 年春季机器学习课程中关于各种注意力机制介绍的主要内容，也是相对于 2021 年课程的补充内容。参考视频见：https://www.bilibili.com/video/BV1Wv411h7kN/?p=51&vd_source=eaef25ec79a284858ac2a990307e06ae在 2021 年课...
李宏毅《深度学习》- Self-attention 自注意力机制
0202zc 的博客
10-20 1万+
无论是预测视频观看人数还是图像处理，输入都可以看作是一个向量，输出是一个数值或类别。然而，若输入是一系列向量（序列），同时长度会改变，例如把句子里的单词都描述为向量，那么模型的输入就是一个向量集合，并且每个向量的大小都不一样： 将单词表示为向量的方法：One-hot Encoding（独热编码）。向量的长度就是世界上所有词汇的数目，用不同位的1（其余位置为0）表示一个词汇，如下所示：但是它并不能区分出同类别的词汇，里面没有任何有意义的信息。另一个方法是Word Embedding：给单词一个向量，这个向量
深度学习：自注意力机制(Self-Attention)
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
12-11 1万+
自注意力机制（Self-Attention），有时也称为内部注意力机制，是一种在深度学习模型中应用的机制，尤其在处理序列数据时显得非常有效。它允许输入序列的每个元素都与序列中的其他元素进行比较，以计算序列的表示。这种机制使模型能够聚焦于输入序列中不同位置的关系，从而捕捉序列内的复杂依赖关系。
自注意力机制(Self-Attention)
热门推荐
Michale_L的博客
08-27 9万+
自注意力机制
基于深度学习的声纹识别（self-attention）
最新发布
09-21
（声纹识别）算法Python实现包括GMMGMM-UBM、ivector、深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些...
A Supervised Multi-Head Self-Attention Network for Nested NE.pdf
09-17
具体来说，文章中提到的多头自注意力机制是深度学习中的一个重要概念，特别是基于Transformer架构的技术。这种机制能够让模型同时关注序列中的不同位置，学习不同头之间的相关性，从而捕捉到句子中复杂的关系和结构...
Self-attention（李宏毅2022
linyuxi_loretta的博客
10-17 1082
此前，我们network的input都是一个向量，输出可能是一个数值或者一个类别。但是假设我们需要输入的是一排向量，并且向量的个数可能会发生改变，这个时候要怎么处理。将单词表示为向量的方法：One-hot Encoding。我们可以用很长的一个向量，来表示世界上所有的东西，但是这里有一个问题，它假设所有的词汇都是没有关系的，比如猫和狗，都是动物，但是这样没有办法把它分类在一起，没有语义的资讯。另一个方法是Word Embedding：我们给每个词汇一个向量，这个向量里有语义的信息。
self-attention模型理解
weixin_41168869的博客
06-07 997
self-attention模型理解
深入理解深度学习——注意力机制（Attention Mechanism）：自注意力（Self-attention）
冯·诺依曼
06-10 1万+
想象一下，有了注意力机制之后，我们将词元序列输入注意力池化中， 以便同一组词元同时充当查询、键和值。具体来说，将比较的是卷积神经网络、循环神经网络和自注意力这几个架构的计算复杂性、顺序操作和最大路径长度。请注意，顺序操作会妨碍并行计算，而任意的序列位置组合之间的路径越短，则能更轻松地学习序列中的远距离依赖关系。总而言之，卷积神经网络和自注意力都拥有并行计算的优势， 而且自注意力的最大路径长度最短。但是因为其计算复杂度是关于序列长度的二次方，所以在很长的序列中计算会非常慢。而在自注意力中，查询、键和值都是。
【深度学习】Self-attention
拟禾的个人技术博客
02-07 1389
Transformer基础之自注意力机制
自注意力机制（Self-attention）-深度学习-台湾大学李宏毅
m0_49683806的博客
10-16 438
自注意力机制（self-attention）是一种用于处理序列数据的注意力机制，最早应用在Transformer模型中。自注意力机制能够在输入序列中建立起各个元素之间的关联性，并根据这些关联性为每个元素分配一个权重。
Self-Attention
顺其自然~专栏
04-14 272
自注意力机制（Self-Attention）是 Transformer 模型的核心组成部分，它允许模型在处理序列数据时同时考虑序列中的所有位置，以此来捕捉序列内的长距离依赖关系。Self-Attention 的工作机制包括以下几个关键步骤：1、输入表示：首先，模型接收一个输入序列，通常是一个单词或标记的序列，每个单词或标记被转换为一个密集向量表示，这些向量集合构成了输入矩阵。2、计算注意力分数：模型通过计算输入矩阵中的每个单词与其他所有单词之间的关系来得到注意力分数。这一过程涉及到三个矩阵的操作，即查询（Q
深度学习笔记-self-attention
qq_46460131的博客
10-27 654
注意力机制
Self attention(自注意力机制)
weixin_54892004的博客
12-20 6753
论文《Attention is all you need》 一 输入：N维向量 输出：N个lable：class/sclar (词性判断) 一个label: class/sclar（一个句子判断褒贬，听声识人） 未定数量的lable,数量由机器学习（seq2seq,翻译，语音辨识） 二 输出为N个label N 是个不确定的值，具体例子为输入一句话，每句话的长短不一样。 要考虑整个句子间的联系，window就要尽可能大，过大参数会过多，并且要...
Transformer深度解析：从Self-Attention到多头注意力机制
Transformer模型是深度学习领域的一个重要突破，尤其是在自然语言处理（NLP）任务中，它由Google的研究人员在2017年的论文《Attention is All You Need》中提出。Transformer的核心创新在于使用Self-Attention机制...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值