An Attention Free Transformer

最新推荐文章于 2025-02-06 16:42:14 发布
最新推荐文章于 2025-02-06 16:42:14 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： 论文笔记 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jeaksun/article/details/125135082
版权

在这里插入图片描述

An Attention Free Transformer

Abstract

引入了无注意变压器(AFT)，这是transformer的一种有效变体，它消除了点积自我关注的需要。在AFT层中，key和value首先与一组学习的位置偏差组合，其结果以元素方式与查询相乘。这种新的操作具有线性的存储器复杂性。上下文大小和特征尺寸，使其与大输入和模型大小兼容。本文还介绍了AFT-LOCAL和AFT-COV这两种模型变体，它们在保持全局连通性的同时利用了局部性和空间权重分担的思想。在两个自回归建模任务(CIFAR10和Enwik8)以及一个图像识别任务(ImageNet-1K分类)上进行了广泛的实验。

Methodology

给定输入x，首相将其进行线性变换为：
在这里插入图片描述
然后执行以下操作：
在这里插入图片描述
换言之，对于每个目标位置t，AFT执行值的加权平均，其结果与按元素相乘的查询相结合。具体地说，加权简单地由keys和一组学习的成对位置偏差组成。这提供了一个直接的优势，即不需要计算和存储昂贵的关注矩阵，同时像MHA那样维护query和value之间的全局交互。
为了进一步了解AFT与MHA的关系，我们可以将公式2重写为：
在这里插入图片描述

启示

  • 这篇论文的核心仍然是解决transformer的self-attention的2次方的复杂度问题，这种复杂度与输入序列呈线性的注意力非常有必要，可以参照这一篇论文
RWKV:一种鱼和熊掌兼得的线性transformer模型
u013250861的博客
06-14 1321
本文介绍了一种鱼和熊掌兼得的模型。既能和AFT一样兼具通用性和高效，distance位置编码的设计使得模型也具备面对超长文本的能力。实际实验效果可以去看原文的内容，本文只对其结构进行介绍。但总体而言，笔者测试过基于GPT的ai写小说和基于RWKV的ai写小说。相比较而言，RWKV的写出来的文章会更流畅，并且在训练时收敛速度页更快。参考文献。
【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
AI天才研究院
12-22 3563
手动求解 Transformer：分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer：分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕，并且
Attention Free Transformer(AFT)
weixin_40779727的博客
09-16 1474
paper: An Attention Free Transformerdate: 2021-05org: Apple原本基于dot product self attention Transformer的时间复杂度和空间复杂度都很高。提出了一个新的AFT层来降低transformer的计算量。首先回顾一下经典的Multi-Head Attention(MHA)，每一个head的计算如下fi(X)=σ(Qi(Ki)Tdk)Vi, s.t. Qi=XWiQ,Ki=XWiK,Vi=XWiV,(1) f _ { i
最新 Visual Transformer 论文速览 （Attention Free Transformer，CeiT，DynamicViT）
u014546828的博客
06-10 2298
1.When Vision Transformers Outperform ResNets without Pretraining or Strong Data Augmentations
Apple新作：没有注意力的Transformer依然是顶流！！！
阿木寺的博客
06-03 697
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童An Attention Free Transformer论文：https://arxiv.org/ab...
苹果让Transformer抛弃注意力机制，一切只为效率，项目已开源丨华人一作
量子位
06-10 370
博雯 发自 凹非寺 量子位 报道 | 公众号 QbitAI2017年，一句Attention Is All You Need引爆了整个NLP圈，甚至在近些年还有踢馆计算机视觉领域的趋势。所...
探秘下一代Transformer： Attention Free Transformer的PyTorch实现
gitblog_00042的博客
06-09 461
探秘下一代Transformer： Attention Free Transformer的PyTorch实现 aft-pytorchUnofficial PyTorch implementation of Attention Free Transformer (AFT) layers by Apple Inc.项目地址:https://gitcode.com/gh_mirrors/af/aft-...
＜Attention Is All You Need＞：全网首次提出Transformer模型论文中英文对照学习
kingking44的博客
03-20 1388
循环神经网络，尤其是长短期记忆（LSTM）[13]和门控循环神经网络[7]，已经被确定为序列建模和转换问题的最先进方法，如语言建模和机器翻译[35, 2, 5]。此后，已经进行了大量努力，以推动循环语言模型和编码器-解码器架构的边界[38, 24, 15]。循环模型通常沿着输入和输出序列的符号位置进行计算分解。将位置对齐到计算时间步长，它们生成一系列隐藏状态ht，作为前一个隐藏状态ht−1和位置t的输入的函数。
a linear transformer based on attention pooling
最新发布
LYF1993的博客
02-06 721
Currently, transformer-based neural networks have dominated the field of artificial intelligence, achieving widespread applications in natural language processing, computer vision, image generation, and multimodal domains. Especially since OpenAI (referenc
diffusers中的cross-attention实现
liguandong
08-09 601
在models/unets/unet_2d_condition.py中，如何在Unet中将原注意力类替换，Unet中的attn_processors属性会返回一个词典，key是每个处理类所在的位置，down_blocks.0.attentions.0.transformer_blocks.0.attn1.processor，value是每个处理类的实例。KV如果替换成来自另一幅参考图像的特征，这样的话，扩散模型生成的图片会既和原本要生成的图像相似，又和参考图像相似。
AFT：Attention Free Transformer论文笔记
Zssss12的博客
07-09 1995
其中 W Q i ∈ R^d×dk , W K i ∈ R^d×dk , W V i ∈ R^d×dv 是头部 i 的线性变换，σ 是默认设置为 sof tmax 函数的非线性（应用于矩阵的每一行）。dk, dv 分别是键和值的维度。我们表明，AFT 提供了具有竞争力的性能，通常匹配或击败标准 Transformer 和其他变体（的准确度），同时提供了出色的效率。我们还对 AFT 的几种设计选择进行了广泛的消融研究，并讨论了它的独特属性，例如与 Transformer的兼容性、稀疏性和输入大小的可变性。
AttentionFreeTransformer 核心结构图（GraphViz 重绘）
龙哥盟
01-10 475
【代码】AttentionFreeTransformer 核心结构图（GraphViz 重绘）
AttentionFreeTransformer 源码解析（一）：AFTFull、AFTSimple、AFTLocal
龙哥盟
08-10 1001
我觉得源码写的很好懂，我就不加注释了，直接上计算流程图。
【深度学习】注意力机制（三）
AI爱好者的博客，分享计算机领域相关知识
12-11 1883
本文介绍一些注意力机制的实现，包括EMHSA/SA/SGE/AFT/Outlook Attention。
Attention 2 Transformer （注意力机制与各种注意力）
nakaizura
10-05 6945
Attention出自NMT（神经网络机器翻译）以处理文本对齐问题，目前已经在各个领域发光发彩，玩出各种花样带出多少文章。 end-to-end的LSTM版本的NMT模型，两个Deep LSTM分别做encoder 和 decoder。（ NMT大部分以Encoder-Decoder结构为基础结构。 翻译模型特别喜欢bidirectional，注意其无法适应在线的缺陷） 究竟应该关注哪些时刻的...
深度学习：transformer模型
热门推荐
皮皮blog
12-10 6万+
Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合cnn或者rnn的固有模式，只用attention，可谓大道至简。文章的主要目的是在减少...
transformer中attention计算方式_Transformer量化笔记（一）
weixin_39790528的博客
11-24 826
前言AI芯片（这里只谈FPGA芯片用于神经网络加速）的优化主要有三个方面：算法优化，编译器优化以及硬件优化。算法优化减少的是神经网络的算力，它确定了神经网络部署实现效率的上限。编译器优化和硬件优化在确定了算力的基础上，尽量最大化硬件的计算和带宽性能。经历了一年多的理论学习，开始第一次神经网络算法优化的尝试。之所以从一个FPGA开发者转向算法的学习，有几个原因：第一是神经网络在AI芯片上的部署离不开...
学习总结《An Attention Enhanced Graph Convolutional LSTM Network forSkeleton-Based Action Recognition》
lord0555的博客
02-22 1782
An Attention Enhanced Graph Convolutional LSTM Network forSkeleton-Based Action Recognition 一种基于骨架的注意力增强图卷积LSTM网络行为识别方法 投稿： 中国科学院自动化研究所模式识别国家实验室智能感知与计算研究中心 中国科学院大学 中国科学技术大学 收录：CVPR2019 本片论文所提出的方法要改...
【论文阅读笔记】An Introductory Survey on Attention Mechanisms in NLP Problems
寸先生的AI道路
12-03 1900
发布时间：2018.11  arxiv  本文是一篇短小精干的注意力机制综述文章，比较值得一读。文章从最基本的注意力机制介入，介绍了注意力机制近年来的变种。文章将近年来的注意力机制分为五个大类并介绍了注意力机制效果评估的方式，最后简单提了一下注意力机制目前的热门发展方向。 最基础的注意力模型来源于2014年Bengio等发布的经典文章《Neural machine translation by...
flash attention 和transformer
01-05
### Flash Attention in Transformer Architecture Transformers have become a cornerstone in deep learning models due to their effectiveness in handling sequential data without relying on recurrent neural networks or convolutional layers. The core component enabling this is the **multi-head self-attention mechanism**, which allows each position in the sequence to attend to all positions in the previous layer[^1]. However, as sequences grow longer, computational costs increase quadratically with respect to sequence length. #### Introduction to Flash Attention Flash Attention addresses these limitations by optimizing both memory usage and speed while maintaining model accuracy. This technique reduces the complexity from O(n²) to approximately O(n log n), making it feasible to process much longer sequences efficiently. In addition, Flash Attention introduces several optimizations that enhance performance: - **Efficient Memory Access**: By reorganizing how attention scores are computed and stored. - **Blockwise Computation**: Processing smaller chunks of input at once rather than computing over entire matrices simultaneously. - **Gradient Checkpointing**: Reducing memory footprint during backpropagation through selective recomputation of intermediate activations. #### Implementation Details To implement Flash Attention within PyTorch—a flexible framework known for its ease-of-use—developers can leverage specialized libraries like `flash-attn`. Below demonstrates integrating Flash Attention into an existing transformer-based network using Python code snippets tailored specifically towards enhancing efficiency when dealing with large-scale datasets. ```python import torch from flash_attn import FlashAttention class EfficientTransformerLayer(torch.nn.Module): def __init__(self, embed_dim, num_heads=8): super().__init__() self.flash_attention = FlashAttention(causal=False) def forward(self, qkv_input): # Shape (batch_size, seq_len, 3*embed_dim) batch_size, seq_length, _ = qkv_input.shape # Reshape QKV tensor for compatibility with flash attention module qkv_reshaped = qkv_input.view(batch_size, seq_length, 3, -1).transpose(1, 2).contiguous() output = self.flash_attention(qkv_reshaped)[0] return output.transpose(1, 2).reshape_as(qkv_input[:, :, :output.size(-1)]) ``` This implementation leverages efficient matrix operations provided by optimized kernels designed explicitly for modern hardware architectures such as GPUs. It also ensures backward compatibility with standard implementations found in popular frameworks like Hugging Face Transformers library. #### Advantages Over Traditional Self-Attention Mechanisms The primary benefits offered by incorporating Flash Attention include but are not limited to: - **Reduced Computational Cost**: Significant reduction in floating-point operations required per token pair comparison. - **Enhanced Scalability**: Ability to handle significantly larger contexts compared to traditional methods. - **Improved Training Stability**: Through better management of numerical precision issues encountered during long-range dependency modeling tasks. --related questions-- 1. How does blockwise computation contribute to reducing memory consumption? 2. Can you explain gradient checkpointing's role in improving training efficiency? 3. What specific improvements has Flash Attention brought about concerning very long text processing applications? 4. Are there any trade-offs associated with adopting Flash Attention instead of conventional approaches?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值