An Attention Free Transformer

最新推荐文章于 2024-07-09 17:04:58 发布
最新推荐文章于 2024-07-09 17:04:58 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： 论文笔记 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jeaksun/article/details/125135082
版权

在这里插入图片描述

An Attention Free Transformer

Abstract

引入了无注意变压器(AFT)，这是transformer的一种有效变体，它消除了点积自我关注的需要。在AFT层中，key和value首先与一组学习的位置偏差组合，其结果以元素方式与查询相乘。这种新的操作具有线性的存储器复杂性。上下文大小和特征尺寸，使其与大输入和模型大小兼容。本文还介绍了AFT-LOCAL和AFT-COV这两种模型变体，它们在保持全局连通性的同时利用了局部性和空间权重分担的思想。在两个自回归建模任务(CIFAR10和Enwik8)以及一个图像识别任务(ImageNet-1K分类)上进行了广泛的实验。

Methodology

给定输入x，首相将其进行线性变换为：
在这里插入图片描述
然后执行以下操作：
在这里插入图片描述
换言之，对于每个目标位置t，AFT执行值的加权平均，其结果与按元素相乘的查询相结合。具体地说，加权简单地由keys和一组学习的成对位置偏差组成。这提供了一个直接的优势，即不需要计算和存储昂贵的关注矩阵，同时像MHA那样维护query和value之间的全局交互。
为了进一步了解AFT与MHA的关系，我们可以将公式2重写为：
在这里插入图片描述

启示

  • 这篇论文的核心仍然是解决transformer的self-attention的2次方的复杂度问题，这种复杂度与输入序列呈线性的注意力非常有必要，可以参照这一篇论文
「已注销」
关注
专栏目录
RWKV:一种鱼和熊掌兼得的线性transformer模型
u013250861的博客
06-14 956
本文介绍了一种鱼和熊掌兼得的模型。既能和AFT一样兼具通用性和高效，distance位置编码的设计使得模型也具备面对超长文本的能力。实际实验效果可以去看原文的内容，本文只对其结构进行介绍。但总体而言，笔者测试过基于GPT的ai写小说和基于RWKV的ai写小说。相比较而言，RWKV的写出来的文章会更流畅，并且在训练时收敛速度页更快。参考文献。
苹果让Transformer抛弃注意力机制，一切只为效率，项目已开源丨华人一作
量子位
06-10 300
博雯 发自 凹非寺 量子位 报道 | 公众号 QbitAI2017年，一句Attention Is All You Need引爆了整个NLP圈，甚至在近些年还有踢馆计算机视觉领域的趋势。所...
最新 Visual Transformer 论文速览 （Attention Free Transformer，CeiT，DynamicViT）
u014546828的博客
06-10 2084
1.When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations
AFT：Attention Free Transformer论文笔记
最新发布
Zssss12的博客
07-09 928
其中 W Q i ∈ R^d×dk , W K i ∈ R^d×dk , W V i ∈ R^d×dv 是头部 i 的线性变换，σ 是默认设置为 sof tmax 函数的非线性（应用于矩阵的每一行）。dk, dv 分别是键和值的维度。我们表明，AFT 提供了具有竞争力的性能，通常匹配或击败标准 Transformer 和其他变体（的准确度），同时提供了出色的效率。我们还对 AFT 的几种设计选择进行了广泛的消融研究，并讨论了它的独特属性，例如与 Transformer的兼容性、稀疏性和输入大小的可变性。
Apple新作：没有注意力的Transformer依然是顶流！！！
阿木寺的博客
06-03 572
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童An Attention Free Transformer论文：https://arxiv.org/ab...
Attention Free Transformer(AFT)
weixin_40779727的博客
09-16 797
paper: An Attention Free Transformerdate: 2021-05org: Apple原本基于dot product self attention Transformer的时间复杂度和空间复杂度都很高。提出了一个新的AFT层来降低transformer的计算量。首先回顾一下经典的Multi-Head Attention(MHA)，每一个head的计算如下fi(X)=σ(Qi(Ki)Tdk)Vi, s.t. Qi=XWiQ,Ki=XWiK,Vi=XWiV,(1) f _ { i
AttentionFreeTransformer 核心结构图（GraphViz 重绘）
龙哥盟
01-10 404
【代码】AttentionFreeTransformer 核心结构图（GraphViz 重绘）
AttentionFreeTransformer 源码解析（一）：AFTFull、AFTSimple、AFTLocal
龙哥盟
08-10 823
我觉得源码写的很好懂，我就不加注释了，直接上计算流程图。
探秘下一代Transformer： Attention Free Transformer的PyTorch实现
gitblog_00042的博客
06-09 322
探秘下一代Transformer： Attention Free Transformer的PyTorch实现 aft-pytorchUnofficial PyTorch implementation of Attention Free Transformer (AFT) layers by Apple Inc.项目地址:https://gitcode.com/gh_mirrors/af/aft-...
＜Attention Is All You Need＞：全网首次提出Transformer模型论文中英文对照学习
kingking44的博客
03-20 1171
循环神经网络，尤其是长短期记忆（LSTM）[13]和门控循环神经网络[7]，已经被确定为序列建模和转换问题的最先进方法，如语言建模和机器翻译[35, 2, 5]。此后，已经进行了大量努力，以推动循环语言模型和编码器-解码器架构的边界[38, 24, 15]。循环模型通常沿着输入和输出序列的符号位置进行计算分解。将位置对齐到计算时间步长，它们生成一系列隐藏状态ht，作为前一个隐藏状态ht−1和位置t的输入的函数。
【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
AI天才研究院
12-22 3020
手动求解 Transformer：分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer：分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕，并且
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Training a GPT-2 language model Steps 10
段智华的博客
10-12 395
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Training a GPT-2 language model Steps 10 目录 Step 10: Creating a training model directoryContext and completion examples星空智能对话机器人系列博客 Step 10: Creating a training model directory 本节将为我们的模型创建一个临时目录，存储我们需要的信息，并将其重命名以
大模型微调实战之 Transformer 强化学习（TRL Reinforcement Learning）（四） Direct Preference Optimization
段智华的博客
04-28 138
大模型微调实战之 Transformer 强化学习（TRL Reinforcement Learning）（四） Direct Preference Optimization 直接偏好优化（DPO）已成为微调新基础模型的方式。著名的 Mixtral 8x7B 是 Mistral 创建的稀疏专家混合模型，通过使用 DPO，能够以明显更少的参数达到 LLaMa 70B 的性能水平。当然，这种成功促使社区中的许多人开始使用 DPO 微调他们自己的模型。让我们深入了解 DPO 到底是什么以及 如何走到这一步的首先
【深度学习】注意力机制（三）
AI爱好者的博客，分享计算机领域相关知识
12-11 1615
本文介绍一些注意力机制的实现，包括EMHSA/SA/SGE/AFT/Outlook Attention。
Attention 2 Transformer （注意力机制与各种注意力）
nakaizura
10-05 6625
Attention出自NMT（神经网络机器翻译）以处理文本对齐问题，目前已经在各个领域发光发彩，玩出各种花样带出多少文章。 end-to-end的LSTM版本的NMT模型，两个Deep LSTM分别做encoder 和 decoder。（ NMT大部分以Encoder-Decoder结构为基础结构。 翻译模型特别喜欢bidirectional，注意其无法适应在线的缺陷） 究竟应该关注哪些时刻的...
深度学习：transformer模型
热门推荐
皮皮blog
12-10 5万+
Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合cnn或者rnn的固有模式，只用attention，可谓大道至简。文章的主要目的是在减少...
transformer中attention计算方式_Transformer量化笔记（一）
weixin_39790528的博客
11-24 709
前言AI芯片（这里只谈FPGA芯片用于神经网络加速）的优化主要有三个方面：算法优化，编译器优化以及硬件优化。算法优化减少的是神经网络的算力，它确定了神经网络部署实现效率的上限。编译器优化和硬件优化在确定了算力的基础上，尽量最大化硬件的计算和带宽性能。经历了一年多的理论学习，开始第一次神经网络算法优化的尝试。之所以从一个FPGA开发者转向算法的学习，有几个原因：第一是神经网络在AI芯片上的部署离不开...
学习总结《An Attention Enhanced Graph Convolutional LSTM Network forSkeleton-Based Action Recognition》
lord0555的博客
02-22 1679
An Attention Enhanced Graph Convolutional LSTM Network forSkeleton-Based Action Recognition 一种基于骨架的注意力增强图卷积LSTM网络行为识别方法 投稿： 中国科学院自动化研究所模式识别国家实验室智能感知与计算研究中心 中国科学院大学 中国科学技术大学 收录：CVPR2019 本片论文所提出的方法要改...
Attention和Transformer
08-31
Attention机制和Transformer模型是自然语言处理中非常重要的两个概念。 Attention机制是一种用于模型关注输入序列不同部分的方法。在传统的序列到序列模型中，每个输入位置的编码信息只能通过固定的权重传递给后续...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值