【ICLR 2023】时序精选论文02｜PatchTST: 片段输入与独立变量思想（代码解读附源码）

已于 2024-05-15 15:00:06 修改
阅读量1.1k 收藏
点赞数
分类专栏： 时间序列预测项目实战 文章标签： python 人工智能 深度学习 机器学习 算法
于 2024-04-30 17:29:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ViolenceTemper/article/details/138352303
版权
本文解析了PatchTST的工作原理，该模型通过将时间序列数据切分为片段并采用独立变量处理，提高了长期预测的准确性。文章介绍了模型的创新点，包括数据的片段化处理、独立变量的注意力计算，并提供了源码分析，重点关注了注意力机制的改进和自监督学习的应用。
摘要由CSDN通过智能技术生成

PatchTST是patch time series transformer的缩写，它是由Nie, Nguyen等人在2023年3月的论文中首次提出：A Time Series is Worth 64 Words: Long-Term Forecasting with Transformers，论文链接：链接

本文主要结合PatchTST的源码对内部工作原理进行学习解析

文章提出的主要几个创新点：

1、主要是对于输入数据的改变，将已经切分好的样本（数据预处理阶段构建的训练集）再输入时切分为小片段（这个操作在后面的Crossformer中的输入也出现了，或许此类操作是着实有效的）；

2、独立的变量处理，主要意思是在变量的维度上进行单独的计算，不同于一般性的Transformer的编码计算（这一点的代码逻辑与Crossformer中也很类似，可以参考文章链接，那篇文章的创新点在于加强了多变量间的关系，从两个维度进行了单独的注意力考虑）

3、最后有一点是对Patch进行了自监督机制

了解本专栏 订阅专栏 解锁全文 超级会员免费看
OverOnEarth
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
【ICLR 2023】时序精选论文01｜CrossFormer: 实现多维变量间的羁绊（代码解读附源码）
ViolenceTemper的博客
04-26 638
作者认为先前的基于Transformer的模型在捕获长期时间依赖性上可谓是下足了功夫，还提出各种Attention变体来降低复杂度。然而，这些方法都忽略了对不同变量的“跨维度依赖性”的捕获，也就是多变量时序中不同变量序列的相关性。作者认为对这种相关性的捕获是重要的，尤其是对于多变量时序预测任务来说。大框架上仍然使用了Encoder-Decoder结构。
A Time Series is Worth 64 Words（PatchTST模型）代码解析
qq_20144897的博客
04-28 9930
PatchTST模型代码解读
PETformer：正确打开Transformer多元时间序列预测的一种方法
weixin_54335478的博客
09-09 935
Transformer如何应用于时间序列预测一直是近期探讨的一个核心问题，包括多变量建模的处理方式、Transformer的结构等。在中，提出了用线性模型打败Transformer模型；在后来的等工作中，又验证了Transformer的有效性。那么，到底如何使用Transformer进行时间序列预测效果最好呢？这里给出另外两篇工作的Github链接，大家可以阅读代码学习建模思路：文章主要从两个角度探索了Transformer如何应用于时间序列预测，一方面是Transformer的结构上，提出了。
PatchTST 论文解读
chengmoling的博客
04-27 2013
代码地址：https://github.com/yuqinie98/patchtt。
A Time Series is Worth 64 Words（PatchTST模型）论文解读
qq_20144897的博客
02-18 1万+
论文A Time Series is Worth 64 Words:Long-Time Forecasting With Tranformer解读，最新时间序列预测SOTA模型PatchTST
论文解读19——（PatchTST）A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
对流层的酱猪肘~的博客
01-24 1948
这篇是2023年ICLR的文章，提出了一种有效的多元时间序列预测和自监督表示学习模型 PatchTST，主要是基于Transformer做了以下两点改进： 1、将时间序列按照一定大小的窗口和步长切分成Patch，作为模型输入的Token捕捉局部信息； 2、通道独立性：以多变量时间序列为例，每个通道包含一个单变量时间序列，共享相同的嵌入和权重。最后使得基于Transformer的PatchTST模型在长期预测上超过DLinear等SOTA模型
PatchTST
qq_51844463的博客
12-11 799
对于每一个单变量序列（已经通过转换从[L,M]->[M,L]），将长为L序列切成N块，每块长度P（图1）。另外一个要提到的点是Position Embedding，论文用的是learnable的PE，用nn.init.uniform_(W_pos, -0.02, 0.02)来初始化。因为每个维度的信息是有限的，所以没有那么容易拟合。不同Channel的数据有不同的规律，如果直接mix后投射到一个空间上会不太好学。如果一个channel的数据有噪声，也容易影响所有channel，分开则没有这样的影响。
【数据分析与可视化】时间序列基础讲解与实战（图文解释 附源码）
showswoller的博客
01-15 432
【数据分析与可视化】时间序列基础讲解与实战（图文解释 附源码）
【文章学习系列之模型】PatchTST
博客标题不能为空
04-21 3551
《A Time Series is Worth 64 Words: Long-term Forecasting with Transformers》是2023年发表于ICLR的一篇文章。该文章借鉴了计算机视觉领域的Vision Transformer（ViT）的方法，仅使用Encoder部分，提出了一种时序分块方法。
【ICLR 2023】时序精选论文03｜TimeNet: 借助FFT的周期性提取与二维空间建模（代码解读附源码）
ViolenceTemper的博客
05-15 244
近年来，深度模型被广泛用于时序分析任务中，例如循环神经网络（RNN）、时序卷积网络（TCN）和变换器网络（Transformer）。然而，前两类方法主要关注捕捉临近时刻之间的变化，在长期依赖上建模能力不足。Transformer虽然在建模长期依赖上具有天然优势，但是由于现实世界的时序变化极其复杂，仅仅依靠离散时间点之间的注意力（Attention）难以挖掘出可靠的时序依赖。
【ICLR 2022】时序精选论文08｜Pyraformer: 基于金字塔注意力机制与多尺度辨识卷积的时间序列预测模型（代码解读附源码）
最新发布
ViolenceTemper的博客
08-20 127
CNN和RNN的时间复杂度为 O(L) ，而信号遍历路径的最大长度为 O(L) ，Transformer的信号遍历路径为 O(1) ，而时间复杂度为 O(L^2) ，它无法处理很长的序列。Transformer的变体也很少有能够实现小于 O(L) 的最大路径长度，同时大大降低时间和空间复杂度。处理长距离依赖性，其特征在于时间序列中任何两个位置之间的最长信号遍历路径的长度。路径越短，捕获的依赖性越好。基于时间序列数据面临的挑战：建立一个灵活但简约的模型，能够捕获不同范围的时间依赖性。
论文笔记 | ICLR 2023 ReAct：通过整合推理和行动来增强语言模型
叶庭云 成为自己的光
12-19 1728
论文笔记 | ICLR 2023 ReAct：通过整合推理和行动来增强语言模型
PatchTST 项目使用教程
gitblog_01098的博客
08-08 250
PatchTST 项目使用教程 PatchTSTAn offical implementation of PatchTST: "A Time Series is Worth 64 Words: Long-term Forecasting with Transformers." (ICLR 2023) https://arxiv.org/abs/2211.14730项目地址:https://git...
PatchTST：时间序列预测的突破 从理论到实践，了解 PatchTST 算法并将其与 N-BEATS 和 N-HiTS 一起应用在 Python 中
iCloudEnd的博客
07-15 1668
基于 Transformer 的模型已成功应用于自然语言处理（例如 BERT 或 GPT 模型）和计算机视觉等许多领域。然而，当涉及到时间序列时，最先进的结果大多是通过 MLP 模型（多层感知器）实现的，例如N-BEATS和N-HiTS。最近的一篇论文甚至表明，在许多基准数据集上，简单的线性模型优于基于变压器的复杂预测模型（参见Cheng 等人，2022）。尽管如此，仍然提出了一种新的基于 Transformer 的模型，它可以为长期预测任务实现最先进的结果：PatchTST。
PatchTST代码复现：未解析的应用解决办法
m0_73537452的博客
03-15 896
最近在复现大名鼎鼎的PatchTST代码，代码是可以跑通的但是没有办法调试到核心代码，显示一连串的未解析应用解决办法
Transformer时间序列：PatchTST引领时间序列预测进
weixin_42010722的博客
06-28 5900
如果仅仅使用逐点计算的注意力机制，模型只能关注当前时间步的价格，而无法获取到前一天的价格信息。最近的一篇论文甚至表明，简单的线性模型在许多基准数据集上优于复杂的基于Transformer的预测模型（参见Zheng等人，2022）。在时间序列预测任务中，我们需要从过去的时间步中提取信息，以预测未来的时间步。该方法假设未来的数值可以通过过去的数值来估计，并且随着时间的推移，过去的数值对于预测的影响逐渐减弱。大多数基于 Transformer 的预测模型的研究工作都集中在构建新的机制，以简化原始的注意力机制。
ICLR 2023 | PatchTST: 基于Transformer的长时间序列预测
热门推荐
Paper weekly
02-10 1万+
©作者 |杜大钊单位 |中科院软件所研究方向 |时序建模本文中了 2023 ICLR。作为 Transformer-based 预测模型，它是和计算机视觉中的 ViT 最相似的一篇论文（文章标题也很像）。它成功超过了 DLinear，也证明了 DLinear 中 Transformer可能不适合于序列预测任务的声明是值得商榷的。论文标题：A Time Series is Worth 64 W...
锂电池SOC估计 | PatchTST时间序列模型锂电池SOC估计
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
01-22 663
锂电池SOC估计 | PatchTST时间序列模型锂电池SOC估计
patchtst代码
10-12
Patchtst是一种用于执行补丁测试的代码工具。它的主要功能是验证软件的补丁是否能够正确地修复程序中的错误或漏洞，并确保在应用补丁后系统的功能和性能没有受到影响。 Patchtst的使用方法通常包括以下步骤： 1. 准备测试环境：首先需要搭建一个测试环境，包括安装正确版本的软件以及提供包含漏洞的测试用例或数据集。 2. 选择合适的补丁：根据软件的实际情况，选择合适的补丁进行测试。补丁可以是官方提供的更新包或者第三方开发人员自行开发的修复程序。 3. 执行补丁测试：使用Patchtst工具加载补丁，并针对测试用例或数据集进行一系列的测试。测试的内容可以包括功能测试、性能测试、安全测试等。 4. 分析测试结果：Patchtst会自动分析测试过程中收集到的数据，并生成测试报告。测试报告会详细说明补丁是否成功修复了原有的错误或漏洞，以及在应用补丁后系统的功能和性能表现如何。 5. 验证和反馈：根据测试报告中的结果，开发人员可以验证补丁的有效性。如果发现补丁未能完全修复问题，开发人员可以使用Patchtst提供的反馈机制报告问题，以便进一步改进和修复。 总体而言，Patchtst是一款非常有用的工具，可以帮助开发人员验证补丁的有效性并确保系统的功能和性能不受到影响。它的使用可以提高软件的质量，减少错误和漏洞的存在，提供更加可靠和安全的系统。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值