transformer中的autoregressive什么意思

最新推荐文章于 2025-03-27 16:22:48 发布
最新推荐文章于 2025-03-27 16:22:48 发布
阅读量4.1k 收藏 5
点赞数 3
分类专栏： 科研 deep learning Transformer 文章标签： transformer 回归 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/artistkeepmonkey/article/details/121793677
版权

autoregressive

adj. 自回归的
eg: autoregressive model自回归的模型
autoregressive process自回归的过程

autoregressively

adv. 自回归地
eg: autoregressively predicted 自回归地预测
这个词在有道词典中查不到，但是在大佬的文章中是有这样的用法的
在这里插入图片描述

算法含义

token被一个一个地预测出来，预测第n个token会把前n-1个token看成输入。
在sampling程序中，如果是用autoregressive的方式预测n个token，就需要运行模型n次（每次得到的结果cat到input中，作为新的input）。 如果不是autoregressive的方式，运行一次模型就得到了结果。

作用

预测后面的token以前面的token为条件，加强对数据内部联系的学习。

缺点

费时间，sampling过程运行n步，假如是没有什么优化，O（n）时间复杂度，而普通方式是O（1）
一般保存 qkv 计算结果的方式来加速 ，就是不用每次都计算所有的 q*k^T

autoregressive transformer的意思
Hope^_^
05-29 681
就是decode阶段上一个词作为预测下一个词的输入的意思
Transformers are RNNs: Fast Autoregressive Transformers
AI天才研究院
08-28 527
作者：禅与计算机程序设计艺术 1.简介 在近几年来，语言模型预训练技术取得了非常大的进步。语言模型的本质就是用自回归序列到序列(Seq2Seq)的方式预训练一个神经网络模型。传统的 Seq2Seq 模型的训练通常是通过最大似然损失函数，通过反向传播更新参数，这种方法虽然简单易懂，但是速度慢而且收敛困难，
【Models】Transformer 之 自回归、自编码、序列到序列
最新发布
songxia928_928的博客
03-27 1245
自然语言处理（NLP）的核心挑战是建模序列数据的依赖关系。自2010年代以来，三大范式主导了序列模型的发展：**自编码（Autoencoding）**、**自回归（Autoregressive）**和**序列到序列（Seq2Seq）**。它们如同光谱的三个端点：自回归聚焦单向生成，自编码擅长双向理解，Seq2Seq则架起输入输出的桥梁。本文将深入解析三者的技术本质、架构差异及应用边界。
Transformer解码器自回归机制详细介绍
xw555666的博客
04-01 5832
上下文向量是Transformer理解和处理序列信息的核心工具。解码器通过自回归的方式逐步生成目标语言序列，并且实时结合源语言的上下文信息，确保翻译质量和流畅性。
transformer-Autoregressive Language Models之GPT-1、2、3解析及GPT源码实现
chu227的博客
11-14 906
1，Task-aware的人工智能Language model + Pre-training + Fine-tuning时代 2，Decoder-Only Stack数学原理及架构解析 3，训练材料标注：neutral、contradiction、entailment、multi-label、QA等 4，NLP(Natural Language Understanding)：Semantic similarity、document classification、textual entailment等
论文阅读--Q-Transformer: Scalable Offline Reinforcement Learning via Autoregressive Q-Functions
hzlalb的博客
04-22 1273
通过离散每个动作维度并将每个动作维度的Q值表示为单独的token，我们可以将有效的高容量序列建模技术应用于Q学习。的最后一步才有奖励。虽然这种设置对于广泛的偶发机器人操纵问题是合理的，但它并不具有普遍性，我们希望 Q-Transformer 在未来也能扩展到更广泛的环境中。我们的自回归Q学习更新背后的直觉是将每个动作的维度本质上视为一个单独的时间步长。解决这种问题的一种方法就是通过低估分布外的动作的Q值，从而确保最大值动作是分布内的。在我们的工作中，我们考虑稀疏奖励的任务，奖励只有0，1，并且仅在。
AIGC实战——基于Transformer实现音乐生成
盼小辉丶的博客
04-24 8784
Transformer 是最流行的音乐生成技术之一，因为音乐可以视为一个序列预测问题，Transformer 模型将音符视为一个个符号的序列(类似于句子中的单词)，从而用于生成音乐。Transformer 模型基于先前音符预测下一个音符，生成音乐作品。在本节中，将学习如何处理音乐数据，并应用 Transformer 生成与给定训练集风格相似的音乐。
AIGC实战——GPT(Generative Pre-trained Transformer)
盼小辉丶的博客
03-11 7232
注意力机制能够用于构建先进的文本生成模型，Transformer 是用于序列建模的强大神经网络，该神经网络不需要复杂的循环或卷积架构，而只依赖于注意力机制。这种方法克服了循环神经网络难以并行化的缺陷。Transformers 高度可并行化运算，能够在大规模数据集上进行训练。在本节中，我们将学习文本生成模型如何利用 Transformer 架构提高文本性能，并介绍自回归模型 GPT (Generative Pre-Trained transformer)。
语音合成论文优选：Enhancing Monotonicity for Robust Autoregressive Transformer TTS
低调奋进
01-29 377
声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Enhancing Monotonicity for Robust Autoregressive Transformer TTS 本文是清华大学在interspeech 2020上发表优化transformerTTS，使其更加鲁棒，具体的文章链接 https://www.isca-speech.org/archive/Interspe.
【Transformer】自回归和解码器
weixin_50512050的博客
10-01 1083
介绍了【Transformer】的自回归和解码器的定义和原理
Autoregressive Models
04-25
Matlab Code of Autoregressive Models。 自回归模型（英语：Autoregressive model，简称AR模型），是统计上一种处理时间序列的方法，用同一变数例如x的之前各期，亦即x1至xt-1来预测本期xt的表现，并假设它们为一线性关系。因为这是从回归分析中的线性回归发展而来，只是不用x预测y，而是用x预测 x（自己）；所以叫做自回归。 自回归模型被广泛运用在经济学、信息学、自然现象的预测上。
自回归模型 与 TransFormer的理解
m0_46690805的博客
03-19 3002
自回归模型的含义，与TransFormer之间的联系
自回归（Autoregressive）模型详解
m0_63855028的博客
03-13 2384
自回归（, AR）是序列生成任务中的核心范式，广泛应用于自然语言处理（如GPT）、语音合成、时间序列预测等领域。仅依赖于之前，即通过逐步预测下一个元素的方式构建完整序列。通过循环单元维护隐状态（Hidden State），逐步传递历史信息。隐状态 ht=f(ht−1,xt)，其中 xt​ 是当前输入（通常是上一步的输出 yt−1​）。串行计算导致训练和推理速度慢，长距离依赖易丢失。使用**掩码自注意力（Masked Self-Attention）**实现并行训练，同时保证自回归特性。
AR (Autoregressive) and AE (Autoencoder)
weixin_48185819的博客
12-14 1831
AR语言模型(AutoRegressive LM)：只能获取单向信息，即只能前向读取信息并预测t位置的单词或者从后向读取信息并预测t位置的单词，却不能同时获取双向信息，代表例子是GPT，GPT2，XLNet，ELMO AR LM的优点：比较擅长生成类任务 缺点：只能获取单向信息，不能获取双向信息。 在ELMO／BERT出来之前，大家通常讲的语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归.
AR(Autoregressive)模型
行者的博客
06-04 1201
自回归模型
自回归模型（Autoregressive Models）
热门推荐
m0_62464865的博客
05-22 1万+
时间序列是随时间变化的同一变量（或变量集合）的一系列测量结果。通常情况下，这些测量是在均匀间隔的时间点上进行的，例如每月或每年。让我们首先考虑一个问题，我们有一个作为时间序列测量的y变量。例如，我们可能有y作为全球温度的测量结果，每年进行一次观测。为了强调我们对时间内测量值的存在，我们使用下标"t"代替通常的"i"，即表示在t时间段内进行的测量。自回归模型是指将时间序列中的一个值回归到该时间序列的先前值上。
Autoregressive model
zxxr123的博客
01-29 2608
在下面build_model的代码中涉及到tfp中的sts.Autoregressive.很长时间不用，恍惚中忘记了何为Autoregressive？通过阅读Autoregressive Model: Definition & The AR Process学习到以下几点： auto不是英文单词，而是表示self的希腊语.这可能也说明这个模型有多么经典. autoregressive mo...
Transformer模型在机器翻译中的应用研究
- 在生成序列的过程中，解码器是自回归的（autoregressive），意味着每次生成下一个词的时候，都会考虑之前已经生成的词。 由于Transformer模型的高性能和高效性，它已经成为当前许多机器翻译系统的基础架构，并且...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会写代码的孙悟空

赠人玫瑰 手有余香

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值