Performer：用随机投影将Attention的复杂度线性化

最新推荐文章于 2024-09-04 14:31:07 发布
最新推荐文章于 2024-09-04 14:31:07 发布
阅读量1.2k 收藏 3
点赞数
文章标签： 人工智能 机器学习 xhtml cstring twitter
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/111188962
版权
Performer是Google提出的一项技术，旨在通过随机投影将Attention机制的复杂度从指数级降低到线性级，同时保持精度。这种方法基于标准的Attention，通过找到特定的映射方案，将原本高复杂度的Self Attention转换为线性Attention，理论上有望在不牺牲性能的前提下显著提升处理长序列的效率。然而，Performer在短序列任务上可能表现不佳，并且与某些Transformer增强技术不兼容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

©PaperWeekly 原创 · 作者｜苏剑林

单位｜追一科技

研究方向｜NLP、神经网络

Attention 机制的 复杂度是一个老大难问题了，改变这一复杂度的思路主要有两种：一是走稀疏化的思路，比如我们以往介绍过的 Sparse Attention 以及 Google 前几个月搞出来的 Big Bird [1] ，等等；二是走线性化的思路，这部分工作我们之前总结在线性 Attention 的探索：Attention 必须有个 Softmax 吗？中，读者可以翻看一下。

本文则介绍一项新的改进工作 Performer，出自 Google 的文章 Rethinking Attention with Performers，它的目标相当霸气：通过随机投影，在不损失精度的情况下，将 Attention 的复杂度线性化。

论文标题：

Rethinking Attention with Performers

论文链接：

https://arxiv.org/abs/2009.14794

说直接点，就是理想情况下我们可以不用重新训练模型，输出结果也不会有明显变化，但是复杂度降到了 ！看起来真的是“天上掉馅饼”般的改进了，真的有这么美好吗？

Attention

我们知道，Attention 的一般定义为：

对于标准的 Scaled-Dot Attention 来说， （有时候指数部分还会多个缩放因子，这里我们就不显式写出来了），将整个序列的运算写成矩阵形式就是：

我们主要关心 Self Attention 场景，所以一般有 。在上式中， 这一步相当于要对 个向量对做内积，得到 个实数，因此不管时间还是空间复杂度都是 的。

而对于线性 Attention 来说， ，其中 是值域非负的激活函数。这样一来，Attention 的核心计算量（式（1）中的分子部分）就变成了：

上式左端的复杂度依然是 的，由于矩阵乘法满足结合律，我们可以先算后面两个矩阵的乘法，这样复杂度就可以降为

最低0.47元/天 解锁文章
PaperWeekly
关注
Attention Is All You Need 论文解析之八——performer 一种新型的注意力机制——performer(关注器)，它采用局部感知捕捉局部特征和全局线形函数组合的方式
AI天才研究院
09-01 1825
作者：禅与计算机程序设计艺术 1.简介 最近几年深度学习在图像、文本、声音等领域取得了重大突破，大幅提升了模型性能，已经成为自然语言处理、图像识别、图像分类、目标检测等领域的基础技术。但同时也带来了新的复杂性——如何高效计算并利用注意力机制对复杂数据进行建模？如何在模型尺寸不受限制的前提下，降低参数量，
【图文详解】如何降低Transformer的计算复杂度：Transformer架构原理和改进自注意力机制
AI天才研究院
07-12 836
一般而言，稀疏的自注意力矩阵表示输入序列的每一个位置能够显著地与序列中的有限个位置关联。当输入序列长度较小时，模型主要计算量来源于全连接层，其计算复杂度仍然是近似线性的。，即对输入序列中的每一个位置只计算其与一部分位置(而不是全部位置)之间的相关性，表现为注意力矩阵是稀疏的。的输入序列，其每一个位置都会和该序列的所有位置进行交互并计算注意力(相关度)，从而得到。的计算量主要来源于自注意力层，然而全连接层的计算量也不可忽略。，在处理短序列时线性注意力的计算可能会比标准自注意力的计算还要慢。
大模型 | Self-Attention 的时间复杂度/空间复杂度是怎么计算的?
Code1994的博客
08-30 2079
学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
【论文阅读】Performer | Rethinking Attention With Performers
Slow down, Keep learning and Enjoy life
01-14 6758
本文主要对Transformer一种改进方法“Performer”论文进行分析。
attention与FFN复杂度&模型内存占用估计
weixin_36378508的博客
10-13 2501
复杂度
【transformer】自注意力源码解读和复杂度计算
西檬饭
09-05 5248
自注意力和多头注意源码解析和复杂度分析
​Transformer升级之路：从Performer到线性Attention
Paper weekly
04-25 1448
©PaperWeekly 原创 ·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络看过笔者之前的文章线性Attention的探索：Attention 必须有个 Softmax 吗？和...
提升Transformer效率又有新招？基于矩阵分解的线性化Attention方案
Paper weekly
03-12 2347
©PaperWeekly 原创 ·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络标准 Attention 的 复杂度可真是让研究人员头大。前段时间我们在文章 Performer：...
Beyond Self-attention: External Attention usingTwo Linear Layers for Visual Tasks（论文翻译）
MJ17709005513的博客
03-26 5492
摘要 注意机制，尤其是自我注意，在视觉任务的深度特征表示中发挥了越来越重要的作用。自注意力通过使用所有位置的成对亲和力计算特征的加权和来更新每个位置的特征，以捕获单个样本中的长期依赖关系。然而，self-attention 具有二次复杂度，并且忽略了不同样本之间的潜在相关性。本文提出了一种新的注意力机制，我们称之为外部注意力，它基于两个外部的、小的、可学习的、共享的内存，只需使用两个级联的线性层和两个归一化层就可以轻松实现；它方便地取代了现有流行架构中的 self-attention。外...
自动驾驶相关论文Topic推荐
AI_Conf的博客
11-09 953
AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 AMiner平台：https://www.aminer.cn 自动驾驶（Autonomous vehicles；Self-driving .
大模型学习-基础篇（一）：Attention复杂度计算和PE介绍
qq_43671025的博客
09-04 791
此系列记录大模型学习的经验总结，包括且不限于：LLM相关的知识、理论、论文、部署、微调、量化等，提示：以下是本篇文章正文内容，下面案例可供参考此章节介绍了Transformers库的结构和相关模块。
Random Projection 随机投影法
qq_49277759的博客
05-10 5781
Random Projection 随机投影法 Hercht-Neilseon: 简单的说就是当一个随机矩阵维数到达一定程度的时候，其转置和自身正交。 J-L引理： 在高维空间中的点可以被线性地嵌入到低维空间中，而且这些点在低维空间里两点之间距离会基本保留。 可以根据数据集的大小nnn 和可容忍的错误率来设计低维的维数，上述举例为： log⁡(n)/ε2=log⁡1000/0.001=6.9078×1000≃690\log(n)/\varepsilon ^2 = \log{1000}/0.00
Transformer 中 Self-attention 的计算复杂度
calvinpaean的博客
08-11 5681
Transformer 和 DETR 里面的计算复杂度
Performer：Rethinking Attention with Performers（2020-9-30）
weixin_49346755的博客
10-08 1721
基于Transformer模型在众多领域已取得卓越成果，包括自然语言、图像甚至是音乐。然而，Transformer架构一直以来为人所诟病的是其注意力模块的低效，即长度二次依赖限制问题。随着输入序列长度的增加，注意力模块的问题也越来越突出，算力和内存消耗是输入序列长度的平方。
线性投影（linear projection）
xw555666的博客
01-01 5873
线性投影的核心在于它能够简化复杂的高维结构，同时保持某些重要的内在特性，这在许多实际应用中都是非常有价值的。线性投影是一种强大的数学工具，通过减少冗余和噪声，以及强调数据的关键方面，帮助我们理解和解决众多实际问题。
流行学习、流形学习家族、局部线性嵌入LLE、随机投影（Random Projection）、t-SNE降维及可视化
data+scenario+science+insight
06-08 433
流行学习、流形学习家族、局部线性嵌入LLE、随机投影（Random Projection）、t-SNE降维及可视化 目录 流行学习、流形学习家族、局部线性嵌入LLE、随机投影（Random Projection）、t-SNE降维及可视化 流行学习 流形学习家族 局部线性嵌入LLE 随机投影（Random Projection） t-SNE降维及可视化 流行学习 流形(manifold)是一般几何对象的总称，包括各种维度的曲线与曲面等，和一般的降维分析一样，流形学习是把一组在高维空间中的数据
Transformer模型中的Attention算法
qq_55552561的博客
12-29 1106
参考【经典精读】万字长文解读Transformer模型和Attention机制 - 知乎 (zhihu.com)图解Transformer_transformer模型训练准确率曲线图-CSDN博客The Illustrated Transformer – Jay Alammar – 一次可视化一个概念的机器学习。Transformer是《Attention is all you need》论文里提出来的新的框架，其就是一个升级版的seq2seq，也是由一个encoder和一个decoder组成的。
performer 代码
Talk Is Cheap
10-28 600
https://github.com/google-research/google-research/tree/master/performer
self-attention和rnn计算复杂度的对比
tyler的博客
04-01 9493
Attention is all you need论文中的实验分析部分罗列了self-attention和rnn的复杂度对比，特此记录一下自己对二者复杂度的分析。 注意：n表示序列长度，d表示向量维度。 1、self-attention的复杂度为O(n2⋅d)O(n^{2} \cdot d)O(n2⋅d)，其来源自self-attention计算公式： Attention(Q,K,V)=Softmax(QKTdk)VAttention(Q,K,V)=Softmax(\frac{QK^{T}}{\sq.
performer结构图
最新发布
03-31
Performers 是一种高效的 Transformer 变体，设计目的是解决传统 Transformer 中计算复杂度高的问题。虽然 Performers 的核心理念在于通过随机化方法近似注意力矩阵来降低计算成本，但具体的结构图通常会展示其内部组件如何协作完成高效注意力计算。 以下是关于 Performer 的一些关键概念和技术细节： ### 1. **Performer 的核心思想** Performer 使用 FAVOR+ 方法（Fast Attention Via Positive Orthogonal Random Features）替代传统的 softmax 注意力机制[^5]。FAVOR+ 将原始的 softmax 注意力重新表达为核函数的形式，并通过随机特征映射技术对其进行近似。这种方法使得 Performer 能够在线性和常数时间复杂度下运行，而不是像标准 Transformer 那样具有二次方的时间复杂度。 ```python import torch def favor_plus_attention(query, key, value, random_features): """ 实现 Performer 的 FAVOR+ 注意力机制。 参数: query (Tensor): 查询张量形状为 [batch_size, seq_len, d_model]. key (Tensor): 键张量形状为 [batch_size, seq_len, d_model]. value (Tensor): 值张量形状为 [batch_size, seq_len, d_model]. random_features (Callable): 随机特征映射函数. 返回: Tensor: 输出张量形状为 [batch_size, seq_len, d_model]. """ phi_q = random_features(query) # 映射查询到随机特征空间 phi_k = random_features(key) # 映射键到随机特征空间 kernel_matrix = torch.matmul(phi_q, phi_k.transpose(-2, -1)) # 计算核矩阵 attention_weights = kernel_matrix / torch.sum(kernel_matrix, dim=-1, keepdim=True) # 归一化权重 output = torch.matmul(attention_weights, value) # 加权求和得到最终输出 return output ``` 上述代码展示了 Performer 如何利用随机特征映射实现快速注意力计算的过程。 --- ### 2. **Performer 的结构特点** #### （1）**随机特征映射** Performer 的一大特点是使用正交随机特征映射将高维向量投影到较低维度的空间中。这样可以在保留重要信息的同时显著减少计算开销[^6]。 #### （2）**线性缩放特性** 由于采用了 FAVOR+ 技术，Performer 的时间和内存需求仅与序列长度呈线性关系，而非平方关系。这对于处理超长序列的任务尤为重要。 #### （3）**支持多种核函数** Performer 支持不同的核函数形式（如 RBF 核、Laplace 核等），这赋予了模型更大的灵活性以适应不同类型的输入数据分布[^7]。 --- ### 3. **可视化 Performer 的结构图** 尽管无法直接提供图片链接或图形文件，下面描述了一个典型的 Performer 架构图可能包含的内容： - 输入嵌入层：负责将原始输入转换成适合后续操作的形式； - 多头注意力模块：基于 FAVOR+ 方法构建，执行高效注意力建模； - 前馈网络子层：类似于常规 Transformer，由两层全连接层组成； - 层规范化单元：放置在每个子层之后，帮助稳定训练过程。 如果需要绘制这样的图表，可以借助工具如 Matplotlib 或 Graphviz 来创建流程框图。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值