Attention && Self-Attention

最新推荐文章于 2024-03-02 19:52:11 发布
最新推荐文章于 2024-03-02 19:52:11 发布
阅读量137 收藏 1
点赞数 1
文章标签： attention
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laixiangwei/article/details/116591290
版权

自注意力机制

自注意力机制重点在于三个矩阵 Q Q Q、 K K K、 V V V 三大矩阵。

  1. 其中 Q Q Q、 K K K 计算两者的相似度或相关性得到自注意力矩阵，最常见的方式为点积、Cosine相识性、MLP网络

  2. 对自注意力矩阵继续数值转换，可以使用归一化概率分布、也可以使用 $ Softmax 内 在 机 制 突 出 重 要 元 素 的 权 重 内在机制突出重要元素的权重 内在机制突出重要元素的权重 a_i$

  3. 根据$ a_i 即 即 即 Value_i 对 应 的 权 重 系 数 ， 加 权 求 和 得 到 对应的权重系数，加权求和得到 对应的权重系数，加权求和得到Attention$数值
    A t t e n t i o n ( Q u e r y , S o u r c e ) = ∑ i = 1 L X a i ⋅ V a l u e i Attention(Query, Source)=\sum_{i=1}^{L_X} a_i \cdot Value_i Attention(Query,Source)=i=1∑LX​​ai​⋅Valuei​

自注意力机制

自注意力机制是 注意力机制的变体，其减少了对外部信息的用来，更加关注于内部特点。

  • 优点：
    • 参数少，相比于CNN、RNN
    • 速度快，并行处理
    • 效果好，记忆能力强
    • CNN是基于局部编码、RNN会出现梯度消失等问题

自注意力机制核心

权重计算函数

眼尖的同学肯定发现这个attention机制比较核心的地方就是如何对Query和key计算注意力权重。下面简单总结几个常用的方法：

1、多层感知机方法

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-H8UTw9ZI-1620617165957)(https://www.zhihu.com/equation?tex=a%28q%2Ck%29+%3D+w_2%5ETtanh%28W_1%5Bq%3Bk%5D%29%5C%5C++)]

主要是先将query和key进行拼接，然后接一个激活函数为tanh的全连接层，然后再与一个网络定义的权重矩阵做乘积。

这种方法据说对于大规模的数据特别有效。

2、Bilinear方法

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dA6UaJDC-1620617165961)(https://www.zhihu.com/equation?tex=a%28q%2Ck%29%3Dq%5ETWk%5C%5C)]

通过一个权重矩阵直接建立q和k的关系映射，比较直接，且计算速度较快。

3、Dot Product

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O3J7eFeA-1620617165962)(https://www.zhihu.com/equation?tex=a%28q%2Ck%29%3Dq%5ETk%5C%5C)]

这个方法更直接，连权重矩阵都省了，直接建立q和k的关系映射，优点是计算速度更快了，且不需要参数，降低了模型的复杂度。但是需要q和k的维度要相同。

4、scaled-dot Product

上面的点积方法有一个问题，就是随着向量维度的增加，最后得到的权重也会增加，为了提升计算效率，防止数据上溢，对其进行scaling。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-byuGhfe4-1620617165964)(https://www.zhihu.com/equation?tex=a%28q%2Ck%29%3D%5Cfrac%7Bq%5ETk%7D%7B%5Csqrt%7B%7Ck%7C%7D%7D%5C%5C)]

我个人通常会使用2和3，4。因为硬件机器性能的限制，1的方法计算比较复杂，训练成本比较高。

总结

本文是在阅读了知乎几篇前人总结的基础上，提出的。

  • 感悟如下：
    • 英文能力是一个很重要的能力，这是和另一个世界交流的一种方式。很多知乎大牛都是翻译其他人的文章来发表的。
    • 阅读一篇论文或文章的同时，需要注意文章的布局、排榜、文章思路等
    • 比如Transformer中加入了 position embedding这样模块可以加深词与词之间的关联，这一思想可以运用到其他网络。
    • 多多交流与输出

参考

图解-自注意机制

Attention机制简单总结

挑战自己~
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
local-attention:语言建模的局部窗口注意的实现
05-14
当地关注 局部窗口注意的实现，这为语言建模设置了难以置信的强大基准。 显而易见的是，变压器需要底层的本地关注，而顶层则保留给全球关注，以整合先前各层的发现。 该存储库使立即使用本地窗口注意力变得容易。 该代码已经在多个存储库中经过了实战测试，此外还进行了稀疏远程关注的不同实现。 安装 $ pip install local-attention 用法 import torch from local_attention import LocalAttention q = torch . randn ( 8 , 2048 , 64 ) k = torch . randn ( 8 , 2048 , 64 ) v = torch . randn ( 8 , 2048 , 64 ) attn = LocalAttention ( dim = 64 , # di
Attention的两种机制——global attention/local attention
J~的博客
12-18 5397
目录 1Global Attention全局注意力机制 权重计算函数 Local Attention References： 1Global Attention全局注意力机制 权重计算函数 眼尖的同学肯定发现这个attention机制比较核心的地方就是如何对Query和key计算注意力权重。下面简单总结几个常用的方法： 1、多层感知机方法 主要...
自注意力机制（Self-Attention）
最新发布
极光喵的博客
03-02 1126
这是符合常理的，因为一句话中的每个单词重要程度是不一样的，从语法角度说，主谓宾语比其它句子成分更重要，self-attention机制就是模型尝试学习句子成分重要程度的方法。它将传递给神经网络的向量是三个单词中每个单词的向量乘以它们的权重分数的总和（这里忽略了那些权重分数低的不重要的单词）。为每个token创建q,k,v向量的过程如下，其中Wq，Wk和Wv矩阵可以看成神经网络层的参数，也就是说我们可以将token x经过神经网络层的映射得到对应的q,k,v向量。生成的向量是可以发送到前馈神经网络的向量。
Transformer不比CNN强！Local Attention和动态Depth-wise卷积的前世今生
zandaoguang的博客
04-01 1251
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨Qi Han@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/486015646编辑丨极市平台二次转载须经原作者授权。导读Transformer的文章近两年来可谓是井喷式爆发，大量工作来设计各种任务上的transformer模型，然而，attention作为trans...
Local Attention和动态深度卷积间的关系
bairw_Bella的博客
12-27 750
Local Vision Transformer 是分别在一个个小的局部窗口中进行注意力计算。作者将局部注意力重新定义为通道级的局部连接层（channel-wise locally-connected layer），并4个方面进行分析：两种网络的正则化方式，稀疏连接和权值共享，以及动态权值计算。
注意力机制 Attention模型 global attention 和 local attention
ChihkAnchor的博客
12-14 7728
Attention model 可以应用在图像领域也可以应用在自然语言识别领域 本文讨论的Attention模型是应用在自然语言领域的Attention模型，本文以神经网络机器翻译为研究点讨论注意力机制，参考文献《Effective Approaches to Attention-based Neural Machine Translation》 这篇文章提出了两种Attention模型分类：...
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。...$ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的...输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
keras-self-attention:处理顺序数据的注意力机制，考虑每个时间戳的上下文
05-31
以下代码创建了一个注意力层，它遵循第一部分中的方程（ attention_activation是e_{t, t'}的激活函数）： import kerasfrom keras_self_attention import SeqSelfAttentionmodel = keras . models . Sequential ()...
从三大顶会论文看百变Self-Attention - self-attention的相关思想以及最新的研究进展.zip
11-11
从三大顶会论文看百变Self-Attention，i.e.,了解并熟悉self-attention的相关思想以及最新的研究进展。另外，一并附上一个self-attention论文集仓库（https://github.com/PengboLiu/NLP-Papers）
Self-Attention-ConvLSTM-sample.zip
09-09
来自Self-Attention ConvLSTM for Spatiotemporal Prediction文章的Self-Attention Module的实现。使用python3语言，tensorflow2.0框架编写。
一文读懂——全局注意力机制（global attention）详解与代码实现
08-17
Gobal Attention的目的：是为了在生成上下文向量（也可以认为是句向量）时将所有的hidden state都考虑进去。Attention机制认为每个单词在一句话中的重要程度是不一样的，通过学习得到一句话中每个单词的权重。即为关注重要特征，忽略无关特征。 本代码采样keras2.2.4\tensorflow1.12进行实现的。
详解注意力机制（Attention）——Global/Local/Self Attention
热门推荐
Little Garden
10-25 2万+
详解注意力（Attention）机制 ​ 注意力机制在使用encoder-decoder结构进行神经机器翻译（NMT）的过程中被提出来，并且迅速的被应用到相似的任务上，比如根据图片生成一段描述性语句、梗概一段文字的内容。从一个高的层次看，允许decoder从多个上下文向量（context vector）中选取需要的部分，使得Encoder只能将上下文信息压缩到固定长度的向量中这个束缚中解放出来，进...
soft attention、hard attention、 local attention结构
鲨鱼儿的博客
08-19 1万+
1、attention 理解方式 理解 ： key 与 query生成权重 α ，α 与value 生成 attention value 注意：在tensorflow中 seq2seq + attention 的 attention 的 key 与 value 是相同的，都是解码器的输...
【NLP】global attention与local attention原理详解
zkq_1986的博客
07-17 739
1. global attention 1. local attention In concrete details, the model first generates an aligned position p_t for each target word at time t. The context vector ct is then derived as a wei...
LANet——遥感图像使用Local Attention分割
weixin_46460816的博客
05-05 3513
LANet: Local Attention Embedding to Improve the Semantic Segmentation of Remote Sensing Images LANet: Local Attention Embedding to Improve the Semantic Segmentation of Remote Sensing Images | IEEE Journals & Magazine | IEEE Xplore 1、创新点 提出两种方式增强特...
Global Attention和Local Attention
zephyr_wang的博客
02-07 916
1 简介 本文根据2015年《Effective Approaches to Attention-based Neural Machine Translation》翻译总结。 对于翻译任务，第一次引入注意力机制的是[Bahdanau et al.2015]《Neural machine translation by jointly learning to align and translate》，本文是第二篇。 本文提出了两种注意力机制，global和local。翻译任务是将源语句翻译成目标语句，其中Glo
学习笔记 各种注意力机制 MSA, W-MSA, Local Attention,Stride Attention, ...
weixin_43791477的博客
05-21 6431
学习笔记 各种注意力机制 MSA, W-MSA, Local Attention,Stride Attention, ...
self-attention和scale-attention
04-21
其中，Self-attention 是指对于一个输入序列中的每个元素，通过检查整个序列的其他元素来计算其自己的表示，而 Scale-attention 则是对 Self-attention 的一种改进，通过对 Self-attention 中的权重进行缩放来降低...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值