论文笔记：A Time Series is Worth 64 Words: Long-term Forecasting with Transformers

最新推荐文章于 2024-12-09 16:45:06 发布
最新推荐文章于 2024-12-09 16:45:06 发布
阅读量2.3k 收藏 21
点赞数 6
分类专栏： 论文笔记 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/129265122
版权

ICLR 2023

比较简单，就不分intro、model这些了

1 核心思想1：patching

  • 给定每个时间段的长度、划分的stride，将时间序列分成若干个时间段
    • 时间段之间可以有重叠，也可以没有
    • 每一个时间段视为一个token

1.1 使用patching的好处

  • 降低复杂度
    • Attention 的复杂度是和 token 数量成二次方关系。
    • 如果每一个 patch 代表一个 token，而不是每一个时间点代表一个 token，这显然降低了 token 的数量
  • 保持时间序列的局部性
    • 时间序列具有很强的局部性，相邻的时刻值很接近，以一个 patch 为 Attention 计算的最小单位显然更合理
  • 方便之后的自监督表示学习
    • 即 Mask 随机 patch 后重建
  • 减少预测头的参数量
    • L是输入序列长度，M 是序列个数， T是预测序列长度,D是维度，N是patch数量
    • 论文中的说法是，不分patch的话，Linear Head的大小是LD×MT
      • 这里我觉得有点问题，不分patch的话，输入M*L，经过position embedding+project之后是M*LD，经过Transformer Encoder之后是M*LD，输出是M*T，那么Linear Head的大小应该是LD × T
    • 分patch的话LinearHead的大小是ND × T
      • 但不管我理解的对于否，分patch的话Linear Head的大小肯定是小

2 核心思想2：channel-independence

 

  • 很多基于Transformer的模型采用了 channel-mixing 的方式
    • 指的是，对于多元时间序列，直接将时间序列的所有维度形成的向量投影到嵌入空间以混合多个通道的信息。
  • Channel-independence 意味着每个输入 token 只包含来自单个通道的信息。
    • 这篇采用了的是Channel-independence 
      • 将多元时间序列（维度为 M）中每一维单独进行处理
        • 即将每一维分别输入到 Transformer Backbone 中
      • 将所得预测结果再沿维度方向拼接起来。
      • 这相当于将不同维度视为独立的，但 embedding 和 Transformer 的权重在各个维度是共享的。

3 自监督表示学习

  • 论文说明了分 patch 对 mask 重建来进行自监督学习的好处：mask 一个时间点的话，直接根据相邻点插值就可以重建，这就完全没必要学习了，而 mask 一个 patch 来重建的话则更有意义更有难度。

 4 实验

 

A Time Series is Worth 64 Words: Long-term Forecasting with Transformers(PatchTST模型)
qq_62615329的博客
11-27 1075
得益于Transformer的注意力机制能够自动学习序列中元素之间的联系，成为序列建模任务的理想选择。Patching: 在时间序列预测中，我们的目的是去了解每个不同时间步间相关性。但单个时间步不像句子中的单词有语义意义，因此提取局部语义意义对于分析各时间步之间的联系是至关重要的。以前的工作大多是只使用点级输入token，或从序列中手动提取信息。相比之下，作者通过将时间步聚合为子序列级的patch来增强局部性并捕获综合语义信息，这些综合语义信息是点级输入难以获取的。
时间序列：A TIME SERIES IS WORTH 64 WORDS: LONG-TERM FORECASTING WITH TRANSFORMERS
最新发布
weixin_44340277的博客
04-15 311
我们提出了一种高效的 Transformer 模型设计，用于多变量时间序列预测和自监督表示学习。（i）将时间序列划分为子序列级别的 patch，这些 patch 被作为输入 token 提供给 Transformer；（ii）通道独立性，即每个通道仅包含一个单变量时间序列，所有序列共享相同的嵌入层和 Transformer 权重。这种 patch 划分设计具有三方面的自然优势：能够在嵌入中保留局部语义信息；在相同的回溯窗口下，注意力图的计算和内存开销呈二次减少；模型可以关注更长的历史信息。
A TIME SERIES IS WORTH 64 WORDS: LONG-TERM FORECASTING WITH TRANSFORMERS
XZHBUT的博客
02-26 2536
与使用包含最近96个时间步长的数据序列(0:518)相比，
A TIME SERIES IS WORTH 64 WORDS:LONG-TERM FORECASTING WITH TRANSFORMERS
qq_59482564的博客
10-30 1051
4 EXPERIMENTSABSTRACT:我们提出了一种高效的基于Transformer设计的模型，用于多变量时间序列预测和自我监督表征学习（self-supervised learning）。它基于两个关键部分：1、将时间序列分隔成子序列级别的patches，作为Transformer的输入；2、独立通道(channel-independence)，每个通道包含一个单一的单变量时间序列，它们共享相同的embedding和Transformer权重。
A Time Series is Worth 64 Words（PatchTST模型）论文解读
qq_20144897的博客
02-18 1万+
论文A Time Series is Worth 64 Words:Long-Time Forecasting With Tranformer解读，最新时间序列预测SOTA模型PatchTST
（nlp论文阅读）Patchtst-A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
wq2571931803的博客
09-10 1345
主要内容论文提出了一种新的方法来处理时间序列数据，这种数据是按时间顺序排列的，比如气温变化、股票价格等。新的方法名为PatchTST，它有两个关键的设计：分块设计（Patching）：传统的方法往往是逐点处理时间序列数据，也就是说，一次只看一个时间点的数据。但这个方法会把数据分成若干个小块，每个小块代表一段时间的变化。这就好像在分析一篇文章时，不是逐字分析，而是逐句、逐段分析。这样可以更好地理解数据中的信息，减少计算量，还可以帮助模型记住更长时间段的历史数据，这对准确预测未来很有帮助。
论文解读19——（PatchTST）A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
对流层的酱猪肘~的博客
01-24 3429
这篇是2023年ICLR的文章，提出了一种有效的多元时间序列预测和自监督表示学习模型 PatchTST，主要是基于Transformer做了以下两点改进： 1、将时间序列按照一定大小的窗口和步长切分成Patch，作为模型输入的Token捕捉局部信息； 2、通道独立性：以多变量时间序列为例，每个通道包含一个单变量时间序列，共享相同的嵌入和权重。最后使得基于Transformer的PatchTST模型在长期预测上超过DLinear等SOTA模型
PatchTST:《A TIME SERIES IS WORTH 64 WORDS: LONG-TERM FORECASTING WITH TRANSFORMERS》组会汇报PPT
qq_51614331的博客
12-09 1572
这是2023年年初发表在ICLR的一篇文章， 文章是针对Dliner那篇文章的结果对transformer的一种改进 在之前看的itransformer那篇综述中，patchTST被分类为既没有改结构，也没有改transformer模块本身的模型
ITRANSFORMER: INVERTED TRANSFORMERS AREEFFECTIVE FOR TIME SERIES FORECASTING 论文阅读
weixin_51657614的博客
03-13 1389
论文地址: https://arxiv.org/abs/2310.06625 代码: GitHub - thuml/iTransformer: Official implementation for "iTransformer: Inverted Transformers Are Effective for Time Series Forecasting" (ICLR 2024 Spotlight), https://openreview.net/forum?id=JePfAI8fah摘要最近线性预测模型的
A Time Series Is Worth 64 Words:Long-term Forecasting With Transformer
幼儿园大哥~
07-01 1490
我们提出了一种高效设计的基于Transformer的模型，用于多变量时间序列预测和自监督表示学习。它基于两个关键组件：(i) 将时间序列分割成子序列级别的补丁，这些补丁作为Transformer的输入标记；(ii) 频道独立性，每个频道包含单一的单变量时间序列，这些序列共享相同的嵌入和Transformer权重。补丁设计自然具有三重好处：嵌入中保留了局部语义信息；在给定相同回看窗口的情况下，注意力图的计算和内存使用量成平方比例减少；模型可以关注更长的历史记录。
A Time Series is Worth 64 Words（PatchTST模型）代码解析
热门推荐
qq_20144897的博客
04-28 1万+
PatchTST模型代码解读
AI论文速读 |【Mambda×时序预测】 时光机（TimeMachine）:A Time Series is Worth 4 Mambas for Long-term Forecasting
suzukiwudi的博客
03-27 3461
由于捕获长期依赖性、实现线性可扩展性和保持计算效率的困难，长期时间序列预测仍然具有挑战性。推出了 TimeMachine，这是一个创新模型，它利用 Mamba（一种状态空间模型）来捕获多元时间序列数据中的长期依赖性，同时保持线性可扩展性和较小的内存占用。
【time series】时间序列领域的Transformer综述论文笔记
weixin_45057858的博客
08-06 2505
【time series】Transformer综述笔记
【时序论文小集】
博客标题不能为空
04-17 1173
学习并记录目前的时序模型和论文
【PaperInFive-时间序列预测】PatchTST:开启基于Patch的长时序预测新浪潮(普林斯顿大学)
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
06-06 1658
本文提出了一种基于Transformer的时间序列预测模型的有效设计，通过引入两个关键组件:Patching和通道独立结构。与之前的工作相比，它可以捕获局部语义信息，并受益于更长的回溯窗口。该模型不仅在监督学习方面优于其他基线，而且在自监督表示学习和迁移学习方面证明了其潜能。
【文章学习系列之模型】PatchTST
博客标题不能为空
04-21 4470
《A Time Series is Worth 64 Words: Long-term Forecasting with Transformers》是2023年发表于ICLR的一篇文章。该文章借鉴了计算机视觉领域的Vision Transformer（ViT）的方法，仅使用Encoder部分，提出了一种时序分块方法。
（5）时间序列预测之PatchTST
m0_62113015的博客
11-22 1618
结合论文和代码介绍PatchTST模型
Unlocking the Power of Patch: Patch-Based MLP for Long-Term Time Series Forecasting
03-22
### 基于Patch的MLP在长时间序列预测中的实现与技术 长时间序列预测是一个复杂的问题，通常涉及处理高维数据并捕捉时间依赖关系。基于 Patch 的多层感知机 (MLP) 方法通过将输入序列分割成多个子区域（即 patches），从而能够更高效地提取局部特征并减少计算负担。 #### 数据预处理 为了适应基于 Patch 的方法，在进行长时间序列预测之前，需对原始时间序列数据进行分块操作。这可以通过滑动窗口机制完成，其中每个窗口对应一个 patch[^1]。例如： ```python import numpy as np def create_patches(data, window_size): """ 将一维时间序列切分为固定大小的patches。 参数: data: 输入的时间序列数组 window_size: 每个patch的长度 返回: patches: 切分后的二维矩阵，形状为(n_samples, window_size) """ n_patches = len(data) - window_size + 1 patches = np.zeros((n_patches, window_size)) for i in range(n_patches): patches[i] = data[i:i+window_size] return patches ``` 此函数可以用于生成适合后续模型训练的数据集结构。 #### 模型架构设计 对于基于 Patch 的 MLP 架构而言，其核心在于如何有效地利用这些 patches 来构建网络层次。一种常见的方式是先定义一个多层全连接神经网络来分别学习各个 patch 上的空间特性；之后再引入额外的全局聚合层以综合所有局部信息形成最终表示形式。 以下是简化版 PyTorch 实现的一个例子: ```python import torch.nn as nn class PatchBasedMLP(nn.Module): def __init__(self, input_dim, hidden_dims, output_dim): super(PatchBasedMLP, self).__init__() layers = [] prev_dim = input_dim # 定义隐藏层 for dim in hidden_dims: layers.append(nn.Linear(prev_dim, dim)) layers.append(nn.ReLU()) prev_dim = dim # 输出层 layers.append(nn.Linear(prev_dim, output_dim)) self.network = nn.Sequential(*layers) def forward(self, x): return self.network(x) ``` 在此基础上还可以加入注意力机制或者残差连接进一步提升性能表现。 #### 训练策略和技术细节 当涉及到长期未来值估计任务时，除了标准回归损失外还可能考虑其他辅助目标比如正则化项等帮助稳定优化过程以及防止过拟合现象发生。另外值得注意的是由于此类问题往往存在较强的自相关性因此合理设置批量大小(batch size)，学习率调整计划等因素也至关重要。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值