self-attention学习笔记

最新推荐文章于 2024-06-12 22:18:06 发布
最新推荐文章于 2024-06-12 22:18:06 发布
阅读量85 收藏
点赞数
文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_67138138/article/details/125072017
版权

自己学习使用

写的非常nb的讲解超详细图解Self-Attention - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/410776234

李宏毅视频讲解

​​​​​​视频链接https://search.bilibili.com/all?vt=95458974&keyword=%E6%9D%8E%E5%AE%8F%E6%AF%85&from_source=webtop_search&spm_id_from=333.999

两个向量相关联的程度

计算出attention score 

 使用softmax

 

 b1,b2,b3,b4可以同时被计算出来

在矩阵方方面的处理

 
转置后进行相乘

计算b

只有红色框框的需要训练得到

 多头之间互相不影响，只在各自的层做矩阵运算

山河故人938
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
李宏毅自注意力机制(self-attention)和Transformer详解笔记
qq_45607888的博客
01-11 735
在self-attention中，a1与a2,a3,a4分布计算相关性，把a1乘以wq得到q1（q有个名字叫query），a2乘以wk得到k2（k称之为key），然后q1与q2做点积得到α1,2（老师课程中说的是inner product，推测是口误了），α1,2称为a1与a2的attention score，a3与a4同理得到a1,3和a1,4，self-attention的输入是一串的vector，这些vector可能是整个网络的输入，也可能是某个隐藏层的输出，每个b向量都是考虑所有的a向量而生成的。
Self-attention（李宏毅2022
linyuxi_loretta的博客
10-17 1019
此前，我们network的input都是一个向量，输出可能是一个数值或者一个类别。但是假设我们需要输入的是一排向量，并且向量的个数可能会发生改变，这个时候要怎么处理。将单词表示为向量的方法：One-hot Encoding。我们可以用很长的一个向量，来表示世界上所有的东西，但是这里有一个问题，它假设所有的词汇都是没有关系的，比如猫和狗，都是动物，但是这样没有办法把它分类在一起，没有语义的资讯。另一个方法是Word Embedding：我们给每个词汇一个向量，这个向量里有语义的信息。
Self-Attention 学习笔记
qq_42811373的博客
12-29 3032
Attention机制的本质 attention机制的本质是从人类视觉注意力机制中获得灵感。 大致是我们视觉在感知东西的时候，一般不会是一个场景从到头看到尾每次全部都看，而往往是根据需求观察注意特定的一部分。而且当我们发现一个场景经常在某部分出现自己想观察的东西时，我们就会进行学习在将来再出现类似场景时把注意力放到该部分上。从关注全部到关注重点 Attention机智的优势 参数少 模型复杂度跟 CNN、RNN 相比，复杂度更小，参数也更少。所以对算力的要求也就更小。 速度快 Attention 解
Self-attention学习笔记（Self Attention、multi-head self attention）
weixin_43227526的博客
12-29 1075
self attention
深度学习笔记-self-attention
qq_46460131的博客
10-27 603
注意力机制
李宏毅机器学习学习笔记：Self-attention
weixin_44455827的博客
11-29 600
李宏毅深度学习课程笔记——self-attention
transformer学习笔记：self-attention
weixin_48799576的博客
09-03 840
transformer学习笔记
李宏毅深度学习self-attentin学习笔记
夏之微风的博客
09-10 349
注意力的本质思想就是说，考虑上下文的输入对当前的输入的影响，然后就和人的注意力一样，将重点放在部分输入上，值得被注意的、更为相关的输入会被分配更大的权重，也意味着更被重视。使用复杂的方式的原因在于，方法不固定，就可以利用计算结果，利用梯度下降法求出比最简单的方式可能效果更好的一种方法。接下来，我们自然会思考，在self-attention中，如何自动决定两个向量之间的相关系数为多少呢，如何自动决定2个变量之间的关联性呢。而是一次性同时被算出来的。当然，这里的输入也可以不是输入向量，而是中间层的隐藏向量。
self-attention模型理解
weixin_41168869的博客
06-07 830
self-attention模型理解
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。...$ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的...输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
keras-self-attention:处理顺序数据的注意力机制，考虑每个时间戳的上下文
05-31
安装pip install keras-self-attention用法基本的默认情况下，注意力层使用附加注意力并在计算相关性时考虑整个上下文。 以下代码创建了一个注意力层，它遵循第一部分中的方程（ attention_activation是e_{t, t'}的...
从三大顶会论文看百变Self-Attention - self-attention的相关思想以及最新的研究进展.zip
11-11
从三大顶会论文看百变Self-Attention，i.e.,了解并熟悉self-attention的相关思想以及最新的研究进展。另外，一并附上一个self-attention论文集仓库（https://github.com/PengboLiu/NLP-Papers）
self-attention-cv:专注于计算机视觉的各种自我关注机制的实现。 进行中的资料库
03-05
通过pip安装$ pip install self-attention-cv 如果您没有GPU，最好在您的环境中预安装pytorch。相关文章程式码范例多头注意力import torchfrom self_attention_cv import MultiHeadSelfAttentionmodel = ...
如何学习Golang语言!
FengyangCoder的博客
06-09 453
起源与设计哲学：Go语言由Robert Griesemer、Rob Pike和Ken Thompson三位Google工程师设计，旨在解决现代编程中的一些常见问题，如编译速度、运行效率和并发编程。主要特点：Go语言的语法简单、编译速度快、运行效率高，支持静态类型和内存安全，具有垃圾回收功能，并且原生支持并发编程。
扩展学习|风险管理的文献综述汇总（持续更新向）
weixin_63253486的博客
06-10 788
本片博客主要介绍风险管理领域本人所看到的一些有意思的文章，并就风险管理领域的相关内容进行一个分享。
[ue5]建模场景学习笔记（5）——必修内容可交互的地形，交互沙（3）
qq_40128113的博客
06-09 319
5.第一想法直接clear掉，但直接clear会把想要保留的痕迹一并去除，跑起来就没有痕迹！所以不行，要做一个转载，先把痕迹保留在一个载体上，清楚原来痕迹，用sandsave表示，再把这个载体的痕迹保存回原来rt，这样之前的痕迹被清空了，只留下了保存在载体上的部分，正好符合我们想要的部分。我们现在已经能够让这片地形出现在任意地方，只要角色走在这片地形上，就能够产生痕迹，但这片区域总是需要人工指定，又无法把这片区域无限扩大（显存爆炸），因此尝试使角色无论走到哪里都能产生痕迹。否则绘制不到画板上。
【电子信息工程专业课】学习记录
最新发布
共同进步！
06-12 285
- # **数字信号处理** * ## 离散时间信号与系统 + ### 周期延拓 一个连续时间信号经过理想采样后，其频谱将沿着频率轴以采样频率Ωs = 2π / T 为间隔而重复。 + ### 混频 各周期的延拓分量产生频谱交替的现象 + ### 奈奎斯特采样定理 fs > 2fh
ProbSparse self-attention与self-attention的区别
03-31
ProbSparse self-attention是一种稀疏化的self-attention模型，与传统的self-attention模型有所不同。传统的self-attention模型在计算注意力权重时，需要对所有输入序列的位置进行计算。而ProbSparse self-attention...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值