Self-attention原理 以及 与CNN,RNN对比

已于 2022-05-11 21:18:25 修改
阅读量2.5k 收藏 23
点赞数 3
分类专栏： # NLP 文章标签： cnn rnn 深度学习
于 2021-10-27 20:35:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43779658/article/details/121001332
版权

Self-attention

Self-attention

整体架构

每次输入的Sequence长度不一样，但输出数量要与输入数量相同 （例如：词性标注）

  • 目的：考虑整个input sequence的上下文资讯
  • Self-attention输出也要接入FC得到结果

图中用红颜色括号标起来的vector考虑了整个sequence的内容，此时Fully-connect考虑了整个Sequence的内容

可以将网络进行叠加：Fully-Connect与Self-attention交替使用

​ Self-attention处理整个Sequence的内容

​ Fully-Connect专注处理某个位置的内容

相关论文链接：Attention Is All You Need

运行原理

image-20211026214118669

  • 输入：可以是整个网络的input，也可以是做过某些处理
  • 输出：考虑了整个Sequence产生的
  • 先计算Q，K，V，后计算attention score，再根据其score对v做weight sum来抽取重要信息

计算attention score

以求出 a1 的输出 b1 为例子

image-20211026214643786

Self-attention目的是为了考虑整个Sequence，但是又不是所有的Sequence的内容都是重要的，所以需要进行判断相关性

计算两个向量的关联程度 α \alpha α的方法

image-20211026214834709

左边的Dot-product常用在了Tranformer中

在Self-attention中计算attention score： α \alpha α

image-20211026215501217

可以不用Soft-max，有时会用ReLU

  • 此时得到attention score α ‘ \alpha^‘ α‘ （计算过程是上面的：Dot-product）
  • 经过softmax归一化后，我们可以将 α ‘ \alpha^‘ α‘称作：注意力权重

根据attention score来抽取重要的信息

image-20211026215959247

  • 由公式：当关联性越高，对应的 α \alpha α很大，最后得到的b就越接近关联程度越高的对应的 v 向量

从矩阵乘法的角度思考

  1. q，k，v的计算

image-20211026220735086

由之前的每个图中计算q，k，v向量的公式，从矩阵乘法角度看，整体可以简化

  1. 计算attention score

image-20211026221156382

由之前图中的公式可以得到： α = k T ∗ q \alpha=k^T * q α=kT∗q，对全部的 α \alpha α使用矩阵乘法进行简化即可得图中计算

  1. 抽取信息

image-20211026223221263

  • 注意vi 与 ki 产生的 α ‘ \alpha^` α‘相乘
  1. 总结

先产生q，k，v；再根据q找出相关的位置；再对v做weight sum

image-20211026222220305

进阶版本 - Multi-head Self-attention

定义相关性时，是使用q去找相关的k

但相关这件事有不同的定义，所以需要不同的q负责不同的相关性

以 2个heads 为例子:

以下进行求解结果矩阵O中一个元素 b i b^i bi
image-20211026222838760

image-20211026222905120

不同的 head 分别计算，计算过程如之前内容一样

b i , j b^{i,j} bi,j：

j 表示：第 j 个heads产生的b；
i 表示：第 j 个heads中第i个q (即 q i , j q^{i,j} qi,j) 去与对应的k计算产生的b

此时会得到两个结果矩阵，再将两个拼接起来，再乘以一个矩阵的转置得到最后的结果

image-20211026223342557

相当将 b i , j 1 b^{i,j1} bi,j1与 b i , j 2 b^{i,j2} bi,j2进行了拼接(即：对应 i i i 相同的 b 都拼接在一起)，再经过计算后得到了 b i b^i bi


最后的结果O是 多个由 b b b 组成 (如1heads中的图示)

  • 上述拼接操作可以理解为：将第 i i i个q ( q i q^i qi) 所在多个heads产生的b (b^{i,…}) 全部进行拼接

Positional Encoding - 加入位置信息

  • Self-attention的过程可以看到，并没有位置相关的信息

为每一个位置设置不同的positional vector，将其加到输入a上

但产生positional vector是一个在研究的问题

参考论文：Learning to Encode Position for Transformer with Continuous Dynamical Model

应用

  1. NLP

image-20211026224220505

  1. Self-attention for Speech - Truncated Self-attention

image-20211026224547208

  1. for Image

image-20211026224714074

对于Self-attention处理：图中矩阵可以看成5*10个vector，每个vector是3维向量

image-20211026224845523

Self-attention VS. CNN

CNN是简化版的Self-attention

CNN考虑的是一个receptive field的信息

Self-attention考虑的是整个图片的信息

Self-attention会考虑每个向量的相关性，所以其receptive field可以看出自己学习出来的

而CNN的receptive field是自己指定的

相关论文：

image-20211027200305208

Self-attention相比CNN更加的flexible，需要更多的data，否则更可能over fitting

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OsoiaNK8-1635337818356)(C:/Users/pc/AppData/Roaming/Typora/typora-user-images/image-20211027200700993.png)]

Self-attention VS. RNN

image-20211027201504974

  1. RNN没有办法并行化产生输出，只能一个接一个输出；

    Self-attention可以并行化输出

  2. RNN当结果要考虑比相对较远输入的位置时，比较难以考虑到；

    Self-attention可以很好的对输入位置比较远的向量进行考虑

  3. RNN每个输出只考虑了其左边的输入，没有考虑右边的输入

    Self-attention则考虑了整个Sequence

learn more

image-20211027202436125

Reference

(强推)李宏毅2021春机器学习课程

星码
关注
  • 3
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Learning Lightweight Lane Detection CNNs by Self Attention Distillation.pdf
04-20
Training deep models for lane detection is challenging due to the very subtle and sparse supervisory signals in- herent in lane annotations. Without learning from much richer context, these models often fail in challenging sce- narios, e.g., severe occlusion, ambiguous lanes, and poor lighting conditions. In this paper, we present a novel knowl- edge distillation approach, i.e., Self Attention Distillation (SAD), which allows a model to learn from itself and gains substantial improvement without any additional supervision or labels. Specifically, we observe that attention maps ex- tracted from a model trained to a reasonable level would encode rich contextual information. The valuable contex- tual information can be used as a form of ‘free’ supervision for further representation learning through performing top- down and layer-wise attention distillation within the net- work itself. SAD can be easily incorporated in any feed- forward convolutional neural networks (CNN) and does not increase the inference time. We validate SAD on three pop- ular lane detection benchmarks (TuSimple, CULane and BDD100K) using lightweight models such as ENet, ResNet- 18 and ResNet-34. The lightest model, ENet-SAD, per- forms comparatively or even surpasses existing algorithms. Notably, ENet-SAD has 20 × fewer parameters and runs 10 × faster compared to the state-of-the-art SCNN [16], while still achieving compelling performance in all bench- marks. Our code is available at https://github. com/cardwing/Codes-for-Lane-Detection.
卷积神经网络（CNN）、循环神经网络（RNN）和自注意力（self-attention）对比
xw555666的博客
01-05 1029
卷积神经⽹络和⾃注意⼒都拥有并⾏计算的优势，⽽且⾃注意⼒的最⼤路径⻓度最短，但是因为其计算复杂度是关于序列⻓度的⼆次⽅（⾃注意⼒具有计算复杂性），所以在很⻓的序列中计算会⾮常慢。
Self-Attention和CNN和RNN的区别
chen的博客
10-22 324
总的来说，这三种神经网络层或机制在处理不同类型的数据和建模依赖关系时具有各自的特点。CNN适用于图像和具有网格结构的数据，用于捕捉局部特征；RNN适用于处理需要记忆时间依赖的任务。实际应用中，也有一些模型将它们结合在一起，以应对更复杂的问题，例如在自然语言处理中使用Transformer模型，其中包括Self-Attention和CNN的元素。Self-Attention、CNN（卷积神经网络）和RNN（循环神经网络）是深度学习中不同的神经网络层或机制，它们在处理数据和建模依赖关系时具有不同的特点。
CNN+RNN.zip_CNN RNN_CNN-_CNN-RNN_rnn 识别_rnn训练时间
07-15
行人再识别 CNN+RNN 亲测有效，训练时间短
人工智能-项目实践-文本分类-CNN-RNN中文文本分类，基于TensorFlow
05-12
人工智能-项目实践-文本分类-CNN-RNN中文文本分类，基于TensorFlow 使用卷积神经网络以及循环神经网络进行中文文本分类 CNN做句子分类的论文可以参看: Convolutional Neural Networks for Sentence Classification 以及字符级CNN的论文：Character-level Convolutional Networks for Text Classification 本文是基于TensorFlow在中文数据集上的简化实现，使用了字符级CNN和RNN对中文文本进行分类，达到了较好的效果。 文中所使用的Conv1D与论文中有些不同，详细参考官方文档：tf.nn.conv1d
李宏毅机器学习笔记：CNN和Self-Attention
qq_43711697的博客
08-16 5918
前言 本文主要记录关于李宏毅机器学习2021中HW3和HW4的卷积神经网络和自注意力机制网络部分的笔记，主要介绍了CNN在图像领域的作用及如何处理图像数据，Self-Attention在NLP(自然语言处理)领域的作用和处理词之间的关系。 一、CNN卷积神经网络 CNN处理图像的大致步骤 前面介绍的FCN全连接神经网络是通过把一维的向量不断通过中间的隐藏层的multi和bias最后输出指定列数的vector，而图像这个多维向量是经过一个卷积神经网络最后再经过flatten展开成一维再通过FCN输出对应
深度学习入门 | Self-attention&RNN&LSTM
qq_40933711的博客
04-13 2308
文章目录词汇转为向量，即Word Embeddingskip-gramcbowSelf-attention 词汇转为向量，即Word Embedding 问题来了，如何把输入的词汇变成向量形式？这个把词汇转为向量的操作，我们就称为Word Embedding。事实上，可以有好几种，其中最简单的就是One-hot Encoding One-hot Encoding：例如把apple = [ 1 0 0 0 0 …… ]；bag = [ 0 1 0 0 0 …… ]；cat = [ 0 0 1 0 0 ……
self-attention详解与计算过程
m0_46317132的博客
09-27 998
本文详细描述了self-attention结构的发展，从简单的网络开始逐步演化成self-attention结构，并描述的其中的矩阵运算，输入输出向量的来历
序列预测问题，CNN、RNN各有什么优势？
热门推荐
xiaocong1990的博客
09-09 1万+
  RNN的序列和CNN的空间，是有区分的 序列问题，强调的是先后顺序，这也引申出上下文的概念，一个翻译问题，这个词的含义可能和前后的单词形成的这个组合有联系（Skip-gram）,也可能是它之前的所有单词都有联系（Attention），并且，借助RNN的state这样的记忆单元，使得一个序列位置的输出在数学上和之前的所有序列的输入都是有关系的。当然原始的RNN由于梯度的乘性问题，前面的序列...
自注意力机制-李宏毅
jyjy0608的博客
04-16 2967
只管知道有办法能让一句话、一段声音信号，一个图表（graph）转换为一堆向量，这是输入 这种任务输出的话有四种可能性：1.一个向量对应一个标签，2.一组向量对应一个标签，3.输入的个数和输出不一致（比如中文翻译成英文，词的数量不一致） Sequence to Sequence :序列到序列的任务，（如翻译、语音识别） 今天只讲，一个向量对应一个标签，该任务又称Sequence Labeling self attention ：专注整个序列的信息 FC：专注某个位置的信息 下面看self ..
序列模型相关，分析cnn,rnn, self-attention模型在学习序列依赖的能力
08-06
序列模型相关，分析cnn,rnn, self-attention模型在学习序列依赖的能力
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的Encoder-Decoder模型。从X翻译到Y。 但是这种方式是基于RNN模型，存在两个问题。 一是RNN存在梯度消失的问题。（LSTM/GRU只是缓解这个问题） 二是RNN 有时间上的方向性，不能用于并行操作。Transformer 摆脱了RNN这种问题。 2.Transformer 的整体框架 输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
Keras-Attention:这个仓库主要包含了LSTM、卷积神经网络中，注意力机制的实现
05-25
Attention：注意力机制在Keras当中的实现 目录 所需环境 tensorflow-gpu==1.13.1 keras==2.1.5 LSTM中的注意力机制 在本库中，我将注意力机制施加在LSTM的Step上，目的是注意输入进来的样本，每一个Step的重要程度。我们使用的样本数据如下： X = [[-21.03816538 1.4249185 ] [ 3.76040424 -12.83660875] [ 1. 1. ] [-10.17242648 5.37333323] [ 2.97058584 -9.31965078] [ 3.69295417 8.47650258] [ -6.91492102 11.00583167] [ -0.03511656 -
text-classification-cnn-rnn-master_RNN_CNN_
10-02
基于TensorFlow在中文数据集上的简化实现，使用了字符级CNN和RNN对中文文本进行分类，达到了较好的效果。
现代神经网络总结(AlexNet VGG GoogleNet ResNet的区别与改进)
XXxia1XX的博客
04-28 646
1.VGG，NIN，GoogleNet的块结构图对比(注意:无AlexNet)->神经网络越深,越复杂总能改进精度吗?在上面三层神经网络之后得到的疑惑。这些块带来的区别与细节。
GQA分组注意力机制
weixin_40777649的博客
04-28 566
【代码】GQA分组注意力机制。
基于光伏电站真实数据集的深度学习预测模型（Python代码，深度学习五个模型）
qq_40840797的博客
04-29 415
3.模型（LSTM；LSTM_transform模型）评价指标。前6行的10列数据（黄色部分）作为特征输入，第7行的第10列数据（红色部分）为标签。每一行前9列（黄色部分） 作为特征输入，每一行的第10列值作为标签（红色部分）根据已获取的历史数据预测下一个时间点或者未来多个时间点 更符合实际。5. 对数据集和代码感兴趣的，可以关注最后一行。1min是以1min 间隔采集的数据集。这里分别保存了不同间隔采样时间表格。数据集截图（开始位置截图）4.效果图(测试集)
【PyTorch与深度学习】2、PyTorch张量的运算API（上）
随手写写
04-28 997
最近做实验发现自己还是基础框架上掌握得不好，于是开始重学一遍PyTorch框架，这个是课程笔记，这个课还是讲的简略，我半小时的课听了一个半小时。
笔记12-远程服务器上配置linux深度学习C++环境全过程记录（笔记1和2的同样环境第3次配置）
最新发布
tfxzgp的博客
04-29 711
（笔记1和2在windows上装的同样环境在远程服务器上配置）
self-attention建模
04-13
Self-attention 是一种在序列模型中常用的...Self-attention 通常用于替代 RNN 或 CNN 中的循环或卷积层，能够帮助模型在序列中快速精确地找到相关信息。它在自然语言处理、机器翻译、图像分类等领域中都得到广泛应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值