Self-Attention

已于 2023-07-18 20:14:29 修改
阅读量396 收藏
点赞数
分类专栏： MachineLearning 文章标签： 深度学习
于 2023-07-18 20:14:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47707533/article/details/131778624
版权

文章目录

前言

在这里插入图片描述

复杂的输入

目前的学习输入都可以看成一个向量，大小一样，无论是Youtube预测观看人数，还是影像处理。

在这里插入图片描述

如果我们的输入是一排向量（序列），而且向量的数目还是可以改变的呢？

Example1：文字处理
在这里插入图片描述

向量集作为输入
句子的长度不一样，你的向量集大小就不一样。
怎么把词变成向量呢？
在这里插入图片描述

  • one-hot encoding，最简单的
    但存在一个严重的问题，他假设所有词汇彼此之间都没有关系
  • word embedding

Example2：语音处理
在这里插入图片描述
创建window（长度通常25ms），把window映射成向量，为了描述一整段声音信号，我们移动window（步长通常为10ms）。

window映射成向量常见方法：
在这里插入图片描述
Example3：图
在这里插入图片描述
图也是一堆向量，把每个点看成向量。

输出是什么样的？

输入每一个向量都有一个标签（Sequence Labeling）

在这里插入图片描述

  • Example1：POS tagging（词性标注）
    在这里插入图片描述
  • Example2：根据已有音频材料预测音位
    在这里插入图片描述
  • Example3：是否购买
    在这里插入图片描述

输入一整个序列对应一个标签

在这里插入图片描述

  • Example1：情感分析
    在这里插入图片描述
  • Example2：语音辨认是谁讲的
    在这里插入图片描述
  • Example3：分子的亲水性
    在这里插入图片描述

模型自己决定标签数目（Seq2Seq）

在这里插入图片描述

一、Sequence Labeling的方法

全连接（fully-connected）

在这里插入图片描述
但是fully-connected network对于前后一样的saw无法输出一个是动词，一个是名词不一样的结果。

那有没有可能让fully-connected network考虑上下文信息呢？
在这里插入图片描述
那这个向量与前后两个向量都串起来，构成一个向量，丢到fully-connected network就结束了。

但是现在如果某个任务不是考虑window就能解决，而是要考虑整个序列怎么办？
那么我开一个window把整理序列都盖住，但序列有长有短，你就要统计最长的序列长度，那么fully-connected network参数很多，就容易Overfitting

二、Self-Attention

在这里插入图片描述
self-Attention可以叠加多层
在这里插入图片描述
在这里插入图片描述
下面看如何产生 b 1 b_1 b1​这个向量：
在这里插入图片描述
根据 a 1 a_1 a1​在序列中找出与 a 1 a_1 a1​相关的向量
在这里插入图片描述
那么如何确定两个向量的关联性 α \alpha α呢？
在这里插入图片描述
那么就需要两个计算Attention的模组
那么就需要两个向量做输入，输出 α \alpha α，当做两个向量的关联程度。

  • Dot-product
    在这里插入图片描述

  • Additive
    在这里插入图片描述

α \alpha α，两个向量的关联程度的计算方法有很多，我们只讨论Transformer里面也是最常见的计算方法，就是Dot-product。

下面讨论怎么把Dot-product用在self-Attention里面呢？

计算 a 1 a_1 a1​与其他的关联性
在这里插入图片描述
做normalization比如Softmax
在这里插入图片描述
基于attention score抽取信息
在这里插入图片描述
如果说 a 1 a_1 a1​与 a 2 a_2 a2​的关联性很强，那么 b 1 b_1 b1​就会很接近 v 2 v_2 v2​

在这里插入图片描述
那么就完成了从输入到 b 1 b_1 b1​.

矩阵表述：

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

多头注意力

多头的原因是相关性的定义是多样的，每个头自己做运算在拼一起
在这里插入图片描述
在这里插入图片描述

Position Encoding – self-attention是缺少位置信息的

给每个位置都有唯一的位置向量
在这里插入图片描述
每一列都表示一个位置向量：
在这里插入图片描述
在这里插入图片描述
一些对Position Encoding的研究
https://arxiv.org/abs/2003.09229

self-attention被广泛应用:

  • 如NLP
    在这里插入图片描述
  • 当然他也可以用在语音处理：
    在这里插入图片描述
    在这里插入图片描述

由于语言是非常长的序列，变成向量会非常长，所以我们要做变动。
如果序列非常长，矩阵维度高，占内存大。
在这里插入图片描述
所以我们可以采用截断自注意力(Truncated Self-attention）
在这里插入图片描述

  • 图片处理
    图片也可看成一系列向量
    在这里插入图片描述
    在这里插入图片描述

Self-Attention v.s. CNN

CNN可以被看成简化版的self-attention
在这里插入图片描述
用数学的方式说明CNN是self-attention的特例 – https://arxiv.org/abs/1911.03584

在这里插入图片描述

Self-Attention v.s. RNN

在这里插入图片描述

  • Self-Attention 考虑了整个序列的信息，RNN只考虑了前面已经输入序列的信息。

当然我们使用双向RNN也可以考虑到右侧部分的信息，但是需要把最左面的信息存在memory里面，不能忘记，带到最右边才能在最后一个时间点被考虑。但是self-attention即使很远，也可以容易抽取信息。
在这里插入图片描述

  • RNN没办法平行化
    在这里插入图片描述
    在这里插入图片描述
    各种研究，减少计算量是研究的重点。
    在这里插入图片描述
笔下万码生谋略
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Attention 和 Self-Attention 总结
安静的软件工程师
03-08 1181
Attention 和 Self-Attention 总结
Self-attention（李宏毅2022
linyuxi_loretta的博客
10-17 1032
此前，我们network的input都是一个向量，输出可能是一个数值或者一个类别。但是假设我们需要输入的是一排向量，并且向量的个数可能会发生改变，这个时候要怎么处理。将单词表示为向量的方法：One-hot Encoding。我们可以用很长的一个向量，来表示世界上所有的东西，但是这里有一个问题，它假设所有的词汇都是没有关系的，比如猫和狗，都是动物，但是这样没有办法把它分类在一起，没有语义的资讯。另一个方法是Word Embedding：我们给每个词汇一个向量，这个向量里有语义的信息。
详解Transformer中Self-Attention以及Multi-Head Attention
热门推荐
霹雳吧啦Wz
06-11 12万+
原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti​时刻后的数据才能计算ti+1t_{i+1}ti+1​时刻的数据，但Transformer可以）。在这篇文章中作者提出了S
Self -Attention、Multi-Head Attention、Cross-Attention
大鹏的专栏
11-24 3万+
Self -Attention是一端的注意力机制。Cross-Attention是两端的注意力机制，然后合起来。
自注意力机制(Self-Attention)
Michale_L的博客
08-27 8万+
自注意力机制
一文搞定自注意力机制（Self-Attention）
markconca的博客
10-25 2万+
1 Self-Attention的概念2 Self-Attention的原理3 Self-Attention的作用4 Self-Attention的问题。
全网最通俗易懂的 Self-Attention自注意力机制 讲解
大脸猫的博客
10-04 6万+
前言 因工作需要，不得不再次将Transformer从尘封的记忆中取出。 半年前学Transformer的时候只觉得模型好复杂，步骤好复杂，论文读完，想了好几天，感觉还是没有完全搞明白，仅仅是记住了一些专有名词，除了用于吹牛逼其余一无是处，因为内部的机理完全不明白，所以这些名词啊、公式啊转眼就忘。 Self-attention是Transformer最核心的思想，这两天重新阅读了论文，有了一些新的感想，便急忙将其记下，与朋友们共勉。 博主刚开始接触self-attention时，最不理解的地方就是Q
层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理
zhaohongfei_358的博客
02-10 1万+
本文内容 本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解Self-Attention 李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNes PPT链接见视频下方 通过本文的阅读，你可以获得以下知识： 什么是Self-Attention，为什么要用Self-Attention？ Self-Attention是如何做的？ Self-Atten
神经网络学习小记录77——深入浅出Self-Attention自注意力机制与Transformer模块
Bubbliiiing的学习小课堂
01-13 9280
Self-Attention自注意力机制是Transformer模块的重要组成部分，是截至到现在（2024年1月6日）大大小小网络的标配，无论是LLM还是StableDiffusion，内部都有Self-Attention与Transformer，因此，一起来学学哈哈。
self-attention
weixin_39326879的博客
11-01 1270
self-attention简介 什么是self-attention? self-attention顾名思义，就是自注意力机制，简单理解，就是将输入乘以一个矩阵（attention mask),获得输出的过程。那么这个attention mask怎么获得呢？attention mask也是根据输入本身得到的，1.可以通过对输入进行神经网络变换得到；2。大部分通过点积的方式（矩阵相乘，即经典的q,k,v); self-attention的目的是什么？ 其目的在于：1.融合全局信息对当前的像素信息进行编码；2.
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。...$ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的...输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
keras-self-attention:处理顺序数据的注意力机制，考虑每个时间戳的上下文
05-31
以下代码创建了一个注意力层，它遵循第一部分中的方程（ attention_activation是e_{t, t'}的激活函数）： import kerasfrom keras_self_attention import SeqSelfAttentionmodel = keras . models . Sequential ()...
self-attention-cv:专注于计算机视觉的各种自我关注机制的实现。 进行中的资料库
03-05
通过pip安装$ pip install self-attention-cv 如果您没有GPU，最好在您的环境中预安装pytorch。相关文章程式码范例多头注意力import torchfrom self_attention_cv import MultiHeadSelfAttentionmodel = ...
从三大顶会论文看百变Self-Attention - self-attention的相关思想以及最新的研究进展.zip
11-11
从三大顶会论文看百变Self-Attention，i.e.,了解并熟悉self-attention的相关思想以及最新的研究进展。另外，一并附上一个self-attention论文集仓库（https://github.com/PengboLiu/NLP-Papers）
深度学习之---迁移学习
lbr15660656263的博客
06-15 1037
迁移学习(Transfer Learning)是一种机器学习方法，就是把为任务 A 开发 的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过 从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算 法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学 习社区持续关注的话题。迁移学习对人类来说很常见，例如，我们可能会发现 学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。
动手学深度学习（Pytorch版）代码实践 -深度学习基础-04图片分类数据集
李思成的博客
06-18 342
【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-04图片分类数据集。
动手学深度学习（Pytorch版）代码实践 -卷积神经网络-20填充与步幅
最新发布
李思成的博客
06-22 103
【代码】动手学深度学习（Pytorch版）代码实践 -卷积神经网络-20填充与步幅。
SSA-CNN多输入时序|樽海鞘算法-卷积神经网络|Matlab
不定时分享电力优化、神经网络、数学建模等技术等
06-19 278
本代码基于。
Self-attention
05-11
Self-attention是一种用于自然语言处理和计算机视觉等领域的机器学习技术，它是一种基于自身信息来计算每个元素的权重的方法。在自然语言处理中，它常用于序列到序列的模型中，如机器翻译和文本摘要中。在计算机视觉...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

笔下万码生谋略

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值