论文阅读笔记-Self-Attention

于 2024-10-09 09:21:06 发布
阅读量219 收藏 7
点赞数 2
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mohen_777/article/details/140605404
版权

前言

Self-Attention能够将每个元素和当前时刻元素进行比较来确定上下文元素的重要性，这也使得它在NLP模型中表现优异。而本篇文章则是将卷积结构与Self-Attention结构进行了比较，通过 实验证明了这样的卷积结构同样有着高效的计算和足以和Self-Attention媲美的效果。本篇文章所述的卷积结构是基于non-separable convolutions和depthwise separable convolutions，不清楚深度可分离卷积的小伙伴可以参考这篇文章：深度可分离卷积

在这里插入图片描述

Self-Attention被定义为基于内容的表示，如上图a中所示，其中通过将当前时刻与上下文中的所有元素进行比较来计算注意力权重，这种不受上下文大小限制的计算比较能力，也被视为Self-Attention的核心能力。当然，这种能力也是需要付出代价的，就是计算复杂度是输入长度的二次方，这也使得在相对较长的文本中进行计算成本变得非常的高。

Dynamic convolutions基于lightweight convolutions 构建的，其每个时刻预测不同的卷积核，也就是说卷积核只学习当前时间步的相关信息，而不是学习全局信息。动态卷积在轻量卷积的基础之上，增加了一个可学习的参数单元来影响时间步的权重，这有点类似于局部Attention，只不过相较来说没有考虑前一时刻的权重信息。

结构细节

这篇文章对几种卷积的关联进行了可视化的阐述。
在这里插入图片描述
其中的GLU结构可以参考这篇文章。LConv(LightConv)就是基于DepthwiseConv进行计算得到的，如序列中的第 i i i 个元素和输出通道 c c c 公式推导如下：
D e p t h w i s e C o n v ( X , W , i , c ) = ∑ j = 1 k W c , j ⋅ X ( i + j − ⌈ k + 1 2 ⌉ ) , c DepthwiseConv(X, W, i, c) = \sum_{j=1}^k W_{c,j} \cdot X_{(i+j-\lceil \frac{k+1}{2} \rceil),c} DepthwiseConv(X,W,i,c)=j=1∑k​Wc,j​⋅X(i+j−⌈2k+1​⌉),c​
L i g h t C o n v ( X , W ⌈ c H d ⌉ , : , i , c ) = D e p t h w i s e C o n v ( X , s o f t m a x ( W ⌈ c H d ⌉

最低0.47元/天 解锁文章
墨痕_777
关注
论文笔记之Self-Attention Graph Pooling
附子Jun的博客
09-23 2081
论文笔记之Self-Attention Graph Pooling 文章目录论文笔记之Self-Attention Graph Pooling一、论文贡献二、创新点三、背景知识四、SAGPool层1. SAGPool机理五、模型架构六、 实验结果分析七、未来研究 一、论文贡献 本文提出了一种基于self-attention的图池化方法SAGPool。使用图形卷积能够使池化方法同时考虑节点特征和图形拓扑。 二、创新点 该方法可以使用相对较少的参数以端到端方式学习层次表示。 利用self
[论文笔记]Self-Attention Generative Adversarial Networks
weixin_44363205的博客
04-07 1456
1、文献综述 文章链接：链接 文章题目：《Self-Attention Generative Adversarial Networks》 项目地址：1.TensorFlow版               \,\,\,\,\,\,\,\,\,\,\,\,\,\, 2.pytorch版 2、文献导读 本文提出了Self-Attention Generative Adversarial Networks...
BERT学习笔记(1)——self-attention
LiQZ的博客
08-18 616
由于我没有读过原论文，该博客写的内容几乎来自于李宏毅老师的self-attention课程，链接在这里：《台大李宏毅21年机器学习课程 self-attention和transformer》。该博客用于梳理笔记，以便后面复习的时候使用。如果后面读了相关论文或者有了新的理解会进行更改补充。 目录1 self-attention的思想及框架2 self-attention工作流程3 Multi-head self-attension4 几个tricks5 参考 1 self-attention的思想及框架 .
self-attention学习笔记
May the Force be with you
05-04 862
self attention解决的问题 到目前为止，我们network的input都是一个向量，输入可能是一个数值或者一个类别。但是假设我们需要输入的是一排向量，并且向量的个数可能会发生改变，这个时候要怎么处理。比如文字处理的时候： 比如我们输入词汇，每个词汇都相当于一个向量，我们可以用很长的一个向量，来表示世界上所有的东西，但是这里有一个问题，就是它假设所有的词汇都是没有关系的，比如猫和狗，都是动物，但是这样没有办法把它分类在一起，没有语义的资讯。 有一个叫word embedding的方...
论文阅读笔记：Self-Attention with Relative Position Representations
BoCong-Deng的博客
10-24 4186
了解Transformer的都知道，与递归和卷积神经网络相反，它没有在其结构中显式地建模相对或绝对位置信息，而是它需要在其输入中添加绝对位置的表示，这是一种完全依赖于注意力机制的方法。在本篇论文中，提出了一种替代方法，扩展了自注意机制，可以有效地考虑相对位置或序列元素之间距离的表示。本文描述了该方法的有效实现，并将其转换为可感知到任意图标记输入的相对位置感知自注意力机制的实例，即提出了一种将相对位置表示形式并入Transformer自注意机制的有效方法，残差连接有助于将位置信息传播到更高的层。
论文阅读笔记《Self-attention relation network for few-shot learning》
深视
09-18 2368
小样本学习&元学习经典论文整理||持续更新 核心思想   本文提出一种基于度量学习的小样本学习算法（SARN），其在Relation Network的基础上增加了自注意力机制，使网络能够提取到非局部的远距离的依赖信息。这是什么意思呢？就是普通的卷积神经网络只能提取到局部区域（感受野）内的依赖关系，而自注意力机制则是希望寻找到每个像素点与其他所有像素点之间的依赖关系，或者叫做相关性。这样做的原因是，支持集图像和查询集图像中统一特征的物体其空间位置可能并不相同，比如两幅狗的照片，一张图片中狗的尾巴在图像
论文阅读笔记-Rethinking Self-Attention for Transformer Models
mohen_777的博客
10-08 820
提出了Synthetic Attention，无需点注意力或基于内容的注意力。提出了Synthesizer，集成了Synthetic Attention的新模型。随机对齐的可学习矩阵一样表现良好。在一些任务重token-token依赖并不是必须的。
论文笔记-ON THE RELATIONSHIP BETWEEN SELF-ATTENTION AND CONVOLUTIONAL LAYERS
kingsleyluoxin的博客
08-25 2737
论文信息 标题： ON THE RELATIONSHIP BETWEEN SELF-ATTENTION AND CONVOLUTIONAL LAYERS 作者：Jean-Baptiste Cordonnier, Andreas Loukas & Martin Jaggi 机构：Ecole Polytechnique Federale de Lausanne (EPFL) 出处：ICLR 2020 代码链接 https://github.com/epfml/attention-cnn ..
基于深度self-attention的字符集语言模型（transformer）论文笔记
夏目的博客
11-23 3656
论文题目：Character-Level Language Modeling with Deeper Self-Attention 论文地址：https://arxiv.org/abs/1808.04444v1 摘要       LSTM和其他RNN的变体在字符级别的语言建模方面取得了很好的成功。这些模型一般情况下都会使用反向传播来进行训练，并通常把这些模型的成功归结与RNN结构的长时记忆能...
论文笔记--Llama3 report
weixin_38124427的博客
04-22 2874
Meta最新开源模型Llama3-8B, Llama3-70B
【论文阅读笔记】Self-Attention Guidance and Multiscale FeatureFusion-Based UAV Image Object Detection
zyq199082的博客
10-31 64
无人机图像目标检测是近年来的研究热点。现有的目标检测方法在一般场景下已经取得了较好的效果，但在无人机图像上存在固有的挑战。无人机图像的检测精度受背景复杂尺度差异大小目标密集等因素的限制。为了解决这些问题，我们提出了一种基于自注意力指导和多尺度特征融合的无人机图像目标检测网络(SGMFNet)。首先，设计了全局-局部特征引导(GLFG)模块。该模块可以有效地将局部信息和全局信息结合起来，使模型专注于目标区域，减少复杂背景的影响。其次，设计了改进的并行采样特征融合(PSFF)模块。
[论文笔记] Non-invasive Self-attention for Side Information Fusion in Sequential Recommendation
THOOOR的博客
08-19 822
原文地址 Non-invasive Self-attention for Side Information Fusion in Sequential Recommendation 顺序推荐系统旨在根据用户的历史行为对用户不断变化的兴趣进行建模，从而做出与时间相关的定制推荐。本文提出了 NOninVasive self-Attention 机制 (NOVA) 以在 BERT 框架下有效地利用边信息。 NOVA 利用辅助信息来生成更好的注意力分布，而不是直接改变物品嵌入，这可能会导致信息过多。 本文研究了.
Python3 解释器
Java_fenxiang的博客
10-05 638
Linux/Unix的系统上，一般默认的 python 版本为 2.x，我们可以将 python3.x 安装在/usr/local/python3目录中。安装完成后，我们可以将路径/usr/local/python3/bin添加到您的 Linux/Unix 操作系统的环境变量中，这样您就可以通过 shell 终端输...
task【XTuner微调个人小助手认知】
m0_53291740的博客
10-07 776
下面我们将根据项目的需求一步步的进行修改和调整吧！在 PART 1 的部分，由于我们不再需要在 HuggingFace 上自动下载模型，因此我们先要更换模型的路径以及数据集的路径为我们本地的路径。为了训练过程中能够实时观察到模型的变化情况，XTuner 贴心的推出了一个。
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 550
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
文本区域分割系统源码＆数据集分享
最新发布
lzmlzm89的博客
10-08 1063
数据集信息展示在现代计算机视觉领域，文本区域分割的研究日益受到重视，尤其是在处理文档图像和名片等场景时。为此，我们构建了一个名为“more2”的数据集，旨在为改进YOLOv8-seg模型提供丰富的训练素材，以提升其在文本区域分割任务中的表现。该数据集包含五个类别，具体包括“0”、“2”、“business-name-card”、“doc”和“wendang”，每个类别均具有独特的特征和应用场景，能够为模型的训练提供多样化的样本。
pytorch版本和cuda版本不匹配问题
分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。
10-06 411
发现cuda11.8支持pytorch2.0.0。
Python编写的贪吃蛇小游戏
WwLK123的博客
10-03 615
Python编写贪吃蛇小游戏。
Sequential Self-Attention
08-12
回答: Sequential Self-Attention是一种用于顺序推荐系统的模型。传统的顺序推荐系统模型如马尔可夫链、循环神经网络和自我注意，都将交互历史视为一个有顺序的序列，但没有考虑交互物品之间的时间间隔。而Sequential Self-Attention则在序列模型框架中考虑了交互物品之间的时间间隔，以探索不同时间间隔对预测下一个物品的影响。这个模型被称为TiSASRec，它不仅考虑了物品的绝对位置，还考虑了序列中物品之间的时间间隔。研究表明，TiSASRec在不同的设置下，以及在稀疏和密集数据集上，都表现出很好的性能，并且优于其他先进的序列模型。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [论文笔记 Time Interval Aware Self-Attention for Sequential Recommendation](https://blog.csdn.net/weixin_39129550/article/details/105375259)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [Time Interval Aware Self-Attention for Sequential Recommendation](https://blog.csdn.net/buduxiyi2/article/details/116146096)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

墨痕_777

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值