【机器学习】机器学习的基本分类-自监督学习-自回归方法（Autoregressive Methods）

最新推荐文章于 2025-04-23 14:22:26 发布
最新推荐文章于 2025-04-23 14:22:26 发布
阅读量1.4k 收藏 14
点赞数 21
分类专栏： 人工智能 机器学习 文章标签： 机器学习 分类 学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IT_ORACLE/article/details/144900070
版权

自回归方法（Autoregressive Methods） 是一种生成式模型，通过条件概率建模数据的联合分布。它假设当前数据点依赖于前面部分的序列，利用这种依赖关系逐步生成数据。

核心思想

自回归方法的目标是将数据的联合分布 p(x) 分解为条件概率的乘积：

p(x) = p(x_1, x_2, \dots, x_n) = \prod_{i=1}^n p(x_i | x_{<i})

其中， x_{<i} 表示数据点 x_i 之前的所有数据点。

这种分解将复杂的联合分布问题转化为多个条件概率问题，便于学习和建模。

特点

  1. 因果性：模型生成数据时保证顺序性，数据点 x_i​ 只依赖于先前的 x_{<i}​。
  2. 逐点生成：自回归模型逐步生成每个数据点，使其适用于序列数据生成。
  3. 显式分布：自回归模型直接学习数据的概率分布。

自回归方法的主要模型

1. 经典自回归模型

传统统计中的自回归模型（AR 模型）假设数据具有线性关系。

最低0.47元/天 解锁文章
简要介绍 | 自回归生成：探索序列的未来之旅
NLOS的博客
07-27 670
自回归生成模型的研究仍在继续，人们希望通过改进自回归模型，解决上述挑战，使其在更多的场景下发挥作用。例如，通过引入更复杂的模型，使自回归模型能够处理更复杂的序列；自回归生成模型是一种强大的序列生成工具，它能够从已有的序列中学习，然后生成新的序列。在学习阶段，我们首先定义一个模型，例如一个神经网络，然后使用一种优化算法（例如梯度下降）来调整模型的参数，使得模型的预测与实际的序列值尽可能接近。在此模型中，我们使用了一个LSTM网络作为自回归模型的基础，然后通过一个全连接层将LSTM的输出转换为预测的序列值。
GPT：生成式自回归模型
AI智能涌现深度研究
08-20 1001
GPT：生成式自回归模型 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 自然语言处理（NLP）是人工智能领域的一个重要分支，旨在让计算
【NLP Transformer】机器学习中自回归、自编码、Seq2Seq模型的区别
weixin_49986678的博客
04-18 1657
本文讨论自回归模型、自编码模型、Seq2Seq模型这三种编码器-解码器（encoder-decoder）架构的重叠和差异。我们首先会介绍编码器-解码器架构的基础知识，以提供最必要的背景知识。本文还简要介绍了经典或Vanilla（香草，计算机领域是普通的标准的、无扩展的意思）Transformer架构。接着，我们转向自回归模型，紧接着会介绍自编码模型，并且会看到当这两种模型组合时，我们就得到了Seq2Seq或者叫序列到序列模型。
自回归（Autoregressive）模型详解
m0_63855028的博客
03-13 2902
自回归（, AR）是序列生成任务中的核心范式，广泛应用于自然语言处理（如GPT）、语音合成、时间序列预测等领域。仅依赖于之前，即通过逐步预测下一个元素的方式构建完整序列。通过循环单元维护隐状态（Hidden State），逐步传递历史信息。隐状态 ht=f(ht−1,xt)，其中 xt​ 是当前输入（通常是上一步的输出 yt−1​）。串行计算导致训练和推理速度慢，长距离依赖易丢失。使用**掩码自注意力（Masked Self-Attention）**实现并行训练，同时保证自回归特性。
自回归模型（Autoregressive Models）
m0_62464865的博客
05-22 1万+
时间序列是随时间变化的同一变量（或变量集合）的一系列测量结果。通常情况下，这些测量是在均匀间隔的时间点上进行的，例如每月或每年。让我们首先考虑一个问题，我们有一个作为时间序列测量的y变量。例如，我们可能有y作为全球温度的测量结果，每年进行一次观测。为了强调我们对时间内测量值的存在，我们使用下标"t"代替通常的"i"，即表示在t时间段内进行的测量。自回归模型是指将时间序列中的一个值回归到该时间序列的先前值上。
生成式机器学习：自回归模型
池央的博客
11-27 2277
生成式机器学习旨在通过学习数据的潜在分布来生成新的样本，在图像生成、文本创作、音频合成等众多领域取得了显著的成果。自回归模型作为生成式机器学习中的重要分支，以其独特的序列生成方式受到了广泛关注。它通过对序列中元素的条件概率建模，逐步生成整个序列，展现出强大的生成能力和灵活性。
你知道吗？还有比自回归方式更快更好的序列生成！
zenRRan的博客
07-10 1464
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要26分钟跟随小博主，每天进步一丢丢作者:龚俊民(昵称:除夕)学校:新南威尔士大学单位：Vivo AI LAB 算法实习生方向:...
生成模型——自回归模型详解与PixelCNN构建
热门推荐
盼小辉丶的博客
05-21 1万+
本位将介绍鲜为人知的自回归模型（Autoregressive models），自回归意味着我们使用模型基于模型的过去数据点来预测新数据点。尽管自回归在图像生成中并不常见，但自回归仍然是研究的活跃领域，DeepMind的WaveNet使用自回归来生成逼真的音频。在本文中，将介绍自回归模型并构建PixelCNN模型。
【机器学习】机器学习的基本分类-自监督学习（Self-supervised Learning）
IT古董
12-31 1573
自监督学习是一种机器学习方法，介于监督学习和无监督学习之间。它通过数据本身生成标签，创建训练任务，从而学习数据的表征，而不需要人工标注的标签。这种方法在减少标注数据依赖、提高模型通用性等方面具有重要意义。
【机器学习】机器学习的基本分类-自监督学习-生成式方法（Generative Methods）
IT古董
01-02 1298
生成式方法是一类机器学习方法，其目标是对数据的生成过程建模，学习数据的概率分布，并能够生成与原始数据相似的新样本。生成式方法与判别式方法不同，它不仅关心样本的类别，还学习样本的特征分布。生成式方法是一类机器学习方法，其目标是对数据的生成过程建模，学习数据的概率分布，并能够生成与原始数据相似的新样本。生成式方法与判别式方法不同，它不仅关心样本的类别，还学习样本的特征分布。
【第九周】李宏毅机器学习笔记07：Transformer
qq_30043925的博客
08-25 1472
这周主要了解了 transformer 中的 encoder 和 decoder 的结构和实现原理。在 decoder 中学习了两种解码的方法，一种是 AT （Autoregressive Transformer） ，另一种是NAT（Non-Autoregressive Transformer）。其中，AT生成序列质量高但速度较慢，而NAT则以牺牲部分质量换取更快的生成速度。最后还学习了如何训练 transformer 以及训练中的小 tips。
机器学习周报-文献阅读
weixin_51923997的博客
02-22 1071
本周阅读了题目为An efficient data fusion model based on Bayesian model averaging for robust water quality prediction using deep learning strategies文章，文章提出了结合多种神经科学模型，提出一种新颖的基于贝叶斯模型平均（Bayesian Model Averaging，BMA）的数据融合框架（深度学习方法）包括多层感知器神经网络（MLPNN），递归神经网络（RNN），卷积神经网络
自回归生成网络--WaveNet
你这个代码我看不懂的博客
03-31 4396
WaveNet取代了对音频信号使用傅里叶变换的传统方法。它通过令神经网络找出要执行的转换来实现。因此，转换可以反向传播，原始音频数据可以通过一些技术来处理，例如膨胀卷积、8位量化等。但是人们一直在研究将WaveNet方法与传统方法相结合的方式，尽管该方式将损失函数转换为多元回归的损失函数而不是WaveNet所使用的分类。 WaveNet的基本构建模块是膨胀卷积，它取代了RNN获取上下文信息的功能 下图展示了WaveNet在进行预测时如何提取有关上下文的信息。图片的底部是输入，这是原始音频样本。例如，一个16
【自回归视觉生成（VAR）】Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
Arachis_X的博客
04-10 3399
视觉自回归模型（VAR）将图像上的自回归学习重新定义为从粗到细的 "下一尺度预测 "或 “下一分辨率预测”，有别于标准的栅格扫描 “下一标记预测”。我们提出了**视觉自回归建模（VAR）**这一新一代范式，它将图像上的自回归学习重新定义为从粗到细的 "下一尺度预测 "或 “下一分辨率预测”，有别于标准的栅格扫描 “下一标记预测”。这种简单、直观的方法使自回归（AR）变换器能够快速学习视觉分布，并具有良好的泛化能力：VAR 首次使 AR 模型在图像生成方面超越了扩散变换器。
生成模型——自回归模型详解与PixelCNN构建，2024年最新全世界都在问Python开发凉了吗
2401_84302628的博客
04-11 1014
…def call(self, inputs):…return outputbuild()将输入张量的形状作为参数，我们将使用此信息来确保创建正确形状的变量。构建图层时，此函数仅运行一次。我们可以通过声明不可训练的变量或常量来创建掩码，以使TensorFlow知道它不需要梯度来反向传播：def build(self, input_shape):self.w = self.add_weight(shape=[self.kernel,self.kernel,input_shape[-1],self.filter
自监督学习（Self-Supervised Learning）——Contrastive Methods
藏晖的博客
09-27 3281
Contrastive Methods 与 Generative Methods不同，这类方法并不需要去重构原始输入，而是希望能够在高阶的特征空间中对不同的输入进行分辨，从而促使模型去学习一些通用的特征表示。 在前文（自监督学习（Self-Supervised Learning）个人小结）中我们已经讨论了这种方法的原理和为什么它可以work，本篇博客主要想总结下这类方法的几篇工作。 文献目录 [1] Aaron van den Oord, Yazhe Li, Oriol Vinyals. “Represen
【DL】第 4 章：自回归模型
sikh_0529的博客
03-06 2536
索普先生的故事他的众包寓言是对顺序数据最常用和最成功的深度学习技术之一的类比如文：长短期记忆（LSTM）网络。LSTM 网络是一种特殊类型递归神经网络（RNN）。RNN 包含一个循环层（或cell），它能够通过在特定时间步使其自己的输出成为下一个时间步输入的一部分来处理顺序数据，因此来自过去的信息可以影响当前时间步的预测。我们说LSTM 网络是指具有 LSTM 循环层的神经网络。
生成式模型都是自回归模型吗？
qq_42755230的博客
10-11 930
将自回归模型与生成式模型概念进行区分，并例举了多种生成式模型的相关概念加以区分
解释自回归模型（Autoregressive Models）在生成任务中的应用（面试题200合集，中频、关键）
最新发布
qq_38334677的博客
04-23 339
自回归模型通过学习序列中元素之间的条件依赖关系，在文本、图像、音频等多种生成任务中展现了强大的能力。它们能够生成高质量、连贯的序列数据，但其串行生成过程也带来了速度上的挑战。尽管存在一些缺点，自回归模型仍然是生成模型领域中的一个关键且活跃的研究方向。自回归模型（Autoregressive Models）是一类在机器学习和统计学中广泛使用的生成模型。其核心思想是基于序列中先前出现过的元素来预测下一个元素。这种模型假设序列中的每个数据点都依赖于其前面的数据点。，自回归模型的目标是学习联合概率分布。
泰迪杯B题电力系统机器学习解决方案及完整源码
5. ARIMA模型：自回归积分滑动平均模型（Autoregressive Integrated Moving Average Model, ARIMA）是一种常用的统计模型，用于分析和预测时间序列数据。ARIMA模型结合了自回归模型、差分处理和滑动平均模型的优点，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值