self-attention笔记

已于 2023-09-25 15:29:53 修改
阅读量76 收藏
点赞数
文章标签： 深度学习
于 2023-09-23 20:01:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xlbety/article/details/133198968
版权
本文介绍了自注意力机制如何处理输入的一排向量，强调其在考虑全局信息进行词性判断的优势。同时，文中对比了self-attention与CNN在训练数据量变化下的性能，指出self-attention在大量数据时表现优秀，但可能过拟合，而CNN在少量数据下更稳健。
摘要由CSDN通过智能技术生成

处理输入是sequence vectors(一排向量)
输出的类别“：
在这里插入图片描述

1）自注意力机制
在这里插入图片描述
描述：会考虑整个input sequence的信息，从而判断某个单词的词性

2）self-attention的执行流程
在这里插入图片描述
计算的过程：

在这里插入图片描述
在这里插入图片描述

注意：wk,wq是训练出来的
在这里插入图片描述
self-attention适用于输入是一排向量（input a set of vectors）的时候
例如：applying image
在这里插入图片描述
注意：1) CNN<self-attention<fully connected
2) self-attention弹性比较大，训练资料少的时候就会overfitting，在训练资料多的时候会表现非常好
CNN弹性比较小，在训练资料少的时候会比self-attention表现的比较好
处理图像self-attention 和 CNN的区别

小良bety
关注
Self-Attention笔记
m0_57781387的博客
10-28 304
今天在B站看了质量超高的网课！【强烈推荐！台大李宏毅自注意力机制和Transformer详解！-哔哩哔哩】 https://b23.tv/s2C2lk2 self-attention 问题：词性标记等（输入长度为n的sequence，输出长度为n的sequence） 难点：输出的sequence中的每一个element都需要考虑一整个输入，如果直接用一个超级大的window草率地进行全连接，computational cost极大。 self-attention的提出：让输出的sequence中的
Self-attention学习笔记（Self Attention、multi-head self attention）
weixin_43227526的博客
12-29 1136
self attention
Self-Attention 学习笔记
qq_42811373的博客
12-29 3099
Attention机制的本质 attention机制的本质是从人类视觉注意力机制中获得灵感。 大致是我们视觉在感知东西的时候，一般不会是一个场景从到头看到尾每次全部都看，而往往是根据需求观察注意特定的一部分。而且当我们发现一个场景经常在某部分出现自己想观察的东西时，我们就会进行学习在将来再出现类似场景时把注意力放到该部分上。从关注全部到关注重点 Attention机智的优势 参数少 模型复杂度跟 CNN、RNN 相比，复杂度更小，参数也更少。所以对算力的要求也就更小。 速度快 Attention 解
self-attention学习笔记
May the Force be with you
05-04 862
self attention解决的问题 到目前为止，我们network的input都是一个向量，输入可能是一个数值或者一个类别。但是假设我们需要输入的是一排向量，并且向量的个数可能会发生改变，这个时候要怎么处理。比如文字处理的时候： 比如我们输入词汇，每个词汇都相当于一个向量，我们可以用很长的一个向量，来表示世界上所有的东西，但是这里有一个问题，就是它假设所有的词汇都是没有关系的，比如猫和狗，都是动物，但是这样没有办法把它分类在一起，没有语义的资讯。 有一个叫word embedding的方...
李宏毅自注意力机制(self-attention)和Transformer详解笔记
qq_45607888的博客
01-11 1419
在self-attention中，a1与a2,a3,a4分布计算相关性，把a1乘以wq得到q1（q有个名字叫query），a2乘以wk得到k2（k称之为key），然后q1与q2做点积得到α1,2（老师课程中说的是inner product，推测是口误了），α1,2称为a1与a2的attention score，a3与a4同理得到a1,3和a1,4，self-attention的输入是一串的vector，这些vector可能是整个网络的输入，也可能是某个隐藏层的输出，每个b向量都是考虑所有的a向量而生成的。
李宏毅机器学习学习笔记：Self-attention
weixin_44455827的博客
11-29 669
李宏毅深度学习课程笔记——self-attention
HungYi_Lee ML Self-Attention 笔记
wwj619wwj的博客
09-17 702
李宏毅 2021spring 机器学习课程 笔记
Self-Attention
连理o的博客
07-28 362
目录Sophisticated InputWhat is the output?Sequnce LebelingSelf-attention矩阵运算Multi-head Self-attentionPositional EncodingApplicationsSelf-attention v.s. CNNSelf-attention v.s. RNNSelf-attention for GraphTo learn moreTransformerEncoderDecoder - Autoregressive
自注意力 self-attention 笔记
西檬饭
04-05 2043
自注意力向量作为模型的输入模型的输出上下文和自注意力点积注意力计算过程实际中计算并行进行多头注意力自注意力的问题自注意力和CNN自注意力和RNN 向量作为模型的输入 机器翻译任务里，使用词嵌入的方式将每个词表示为一个向量。 语音识别任务里，使用通过切分帧获取每一帧的MFCC系数，构建一个特征向量。 其他任务也能构造相应的向量形式作为输入。 模型的输出 4中形式： 多对一 一对一 多对多 一对多 上下文和自注意力 在机器翻译任务中常常需要考虑上下文来判断一个词的词性，给出正确的翻译。 自注意力机制考虑整个
从self-attention到Transformer之self-attention
weixin_42254244的博客
05-09 532
从self-attention到Transformer之self-attention 本文内容是本人学习李宏毅老师课程的笔记。在这里附上李宏毅老师的主页：https://speech.ee.ntu.edu.tw/~hylee/index.html 1. self-attention 想要解决一个Seq2Seq的问题，根据经验我们完全可以把整个序列的每一个向量都丢到一个fully-connected neural network中然后根据不同任务输出对应的输出，就像下图一样： 但是很明显这种结构显然有很大的
Self-attention（李宏毅2022
linyuxi_loretta的博客
10-17 1082
此前，我们network的input都是一个向量，输出可能是一个数值或者一个类别。但是假设我们需要输入的是一排向量，并且向量的个数可能会发生改变，这个时候要怎么处理。将单词表示为向量的方法：One-hot Encoding。我们可以用很长的一个向量，来表示世界上所有的东西，但是这里有一个问题，它假设所有的词汇都是没有关系的，比如猫和狗，都是动物，但是这样没有办法把它分类在一起，没有语义的资讯。另一个方法是Word Embedding：我们给每个词汇一个向量，这个向量里有语义的信息。
self-attention模型理解
weixin_41168869的博客
06-07 1001
self-attention模型理解
李宏毅机器学习笔记-----Self-Attention
m0_56250941的博客
07-29 333
Self-Attention
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 5705
self-attention，transformer及变形
基于深度学习的不遗忘训练
weixin_42605076的博客
10-02 905
基于深度学习的不遗忘训练（也称为抗遗忘训练或持久性学习）是针对模型在学习新任务时可能会忘记已学习内容的一种解决方案。该方法旨在使深度学习模型在不断接收新信息的同时，保持对旧知识的记忆。
基于CNN+Transformer混合模型实现交通流量时序预测(PyTorch版)
君子不器 大道无方
09-30 1711
本文旨在详细介绍如何使用PyTorch框架实现基于CNN+Transformer的混合模型，并将其应用于交通流量时序预测任务。我们将从模型架构、数据处理、训练优化等多个方面进行深入剖析，力求为读者提供一个全面、系统的学习与实践指南。希望通过本文的介绍，读者能够掌握CNN+Transformer混合模型的基本原理与实现方法，并能够在实际交通流量预测任务中灵活应用，为城市交通管理与规划贡献自己的力量。
甲虫身体图像分割系统源码＆数据集分享
最新发布
qmsb99的博客
10-08 1112
数据集信息展示在本研究中，我们使用了名为“ground beetles”的数据集，以改进YOLOv8-seg的甲虫身体图像分割系统。该数据集专注于地面甲虫的多样性，包含18个不同的类别，涵盖了丰富的生态特征和形态特征。
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
阿利同学的博客
10-04 993
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
Sequential Self-Attention
08-12
回答: Sequential Self-Attention是一种用于顺序推荐系统的模型。传统的顺序推荐系统模型如马尔可夫链、循环神经网络和自我注意，都将交互历史视为一个有顺序的序列，但没有考虑交互物品之间的时间间隔。而Sequential Self-Attention则在序列模型框架中考虑了交互物品之间的时间间隔，以探索不同时间间隔对预测下一个物品的影响。这个模型被称为TiSASRec，它不仅考虑了物品的绝对位置，还考虑了序列中物品之间的时间间隔。研究表明，TiSASRec在不同的设置下，以及在稀疏和密集数据集上，都表现出很好的性能，并且优于其他先进的序列模型。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [论文笔记 Time Interval Aware Self-Attention for Sequential Recommendation](https://blog.csdn.net/weixin_39129550/article/details/105375259)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [Time Interval Aware Self-Attention for Sequential Recommendation](https://blog.csdn.net/buduxiyi2/article/details/116146096)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值