patchTST

已于 2024-02-07 22:35:31 修改
阅读量978 收藏 9
点赞数 11
文章标签： 机器学习 gpt batch
于 2024-02-07 22:32:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Msc30839573/article/details/136074481
版权
文章探讨了PatchTST方法，它通过将时间序列分割成独立的patch，让Transformer以更高效的方式处理，减少了输入token数量，从而改进了时间序列预测性能。这种方法强调了通道独立性和Patching在Transformer编码器中的作用。
摘要由CSDN通过智能技术生成

一个链接写的挺好

PatchTST = Patch + Transformer

1.通道独立性

2.Patching

模型可以通过观察一组时间步骤而不是单个时间步骤来提取局部语义含义

大大减少了馈送到Transformer编码器的标记数量。在这里，每个patch都变成了输入到Transformer的一个token。这样，我们可以将token的数量从L减少到大约L/S 



Transformer时间序列：PatchTST引领时间序列预测进-CSDN博客

是攸宁啊
关注
PatchTST：时间序列预测的突破 从理论到实践，了解 PatchTST 算法并将其与 N-BEATS 和 N-HiTS 一起应用在 Python 中
iCloudEnd的博客
07-15 1883
基于 Transformer 的模型已成功应用于自然语言处理（例如 BERT 或 GPT 模型）和计算机视觉等许多领域。然而，当涉及到时间序列时，最先进的结果大多是通过 MLP 模型（多层感知器）实现的，例如N-BEATS和N-HiTS。最近的一篇论文甚至表明，在许多基准数据集上，简单的线性模型优于基于变压器的复杂预测模型（参见Cheng 等人，2022）。尽管如此，仍然提出了一种新的基于 Transformer 的模型，它可以为长期预测任务实现最先进的结果：PatchTST。
【论文精读】PatchTST-基于分块及通道独立机制的Transformer模型
打酱油的葫芦娃
09-11 451
PatchTST模型是一种基于Transformer的时间序列预测方法，通过将时间序列分割成小块（patches）并应用通道独立性，有效降低了计算复杂度并提高了长期预测的准确性。该模型在自监督学习和迁移学习方面展现了出色的性能，能够学习到丰富的时间序列表示，适用于多种下游任务。
时序必读论文05｜PatchTST : 时序数据Patch已成趋势【ICLR 2023】
u010681011的专栏
09-13 1764
书接上回，我们在之前的文章已经分析了直接把transformer应用到时间序列预测问题的不足，其中我们总结了4个不足：分别是：注意力机制的计算复杂度高，为 O(N^2)，并且计算得出的权重仅有少部分有用；注意力机制仅建立单时间点位之间的关系，实际能提取到的信息非常有限；对时序或者说位置的建模表示不够充分，而时序任务中前后位置关系是重中之重；没有专门的机制在数据“平稳化（之后详解）”和“非平稳化”之间达到合适的平衡。其中Informer对第一点做了较大的改进；
（5）时间序列预测之PatchTST
最新发布
m0_62113015的博客
11-22 1102
结合论文和代码介绍PatchTST模型
PatchTST
qq_51844463的博客
12-11 1047
对于每一个单变量序列（已经通过转换从[L,M]->[M,L]），将长为L序列切成N块，每块长度P（图1）。另外一个要提到的点是Position Embedding，论文用的是learnable的PE，用nn.init.uniform_(W_pos, -0.02, 0.02)来初始化。因为每个维度的信息是有限的，所以没有那么容易拟合。不同Channel的数据有不同的规律，如果直接mix后投射到一个空间上会不太好学。如果一个channel的数据有噪声，也容易影响所有channel，分开则没有这样的影响。
【文章学习系列之模型】PatchTST
博客标题不能为空
04-21 4042
《A Time Series is Worth 64 Words: Long-term Forecasting with Transformers》是2023年发表于ICLR的一篇文章。该文章借鉴了计算机视觉领域的Vision Transformer（ViT）的方法，仅使用Encoder部分，提出了一种时序分块方法。
PatchTST：长时间序列预测神器
hellozhxy的博客
10-08 1万+
PatchTST是一个基于Transformer的模型，它使用Patch来提取时间序列数据中的局部语义。这使得该模型的训练速度更快，并且有更长的输入窗口。与其他基于Transformer的模型相比，它已经取得了SOTA的性能。在我们的案例中，看到它也取得了比N-BEATS和N-HiTS更好的性能。虽然这并不意味着它比N-HiTS或N-BEATS更好，但在进行长期预测时，它仍然是一个很好选择。
PatchTST.zip
06-24
《基于时间序列的预测方法——探索PatchTST.zip中的秘密》 时间序列分析在众多领域，如金融、气象预测、电子商务、物联网等中都扮演着重要角色。它是一种利用历史数据来预测未来趋势的方法，其核心是假设数据点在...
AI+HI系列（2）：PatchTST、TSMixer、ModernTCN时序深度网络构建量价因子.pdf
07-03
### AI+HI系列（2）：PatchTST、TSMixer、ModernTCN时序深度网络构建量价因子 #### 一、引言 近年来，随着深度学习技术的迅猛发展，其在各个领域的应用越来越广泛。特别是在金融领域，深度学习模型因其强大的表征...
【ICLR 2023】时序精选论文02｜PatchTST: 片段输入与独立变量思想（代码解读附源码）
ViolenceTemper的博客
04-30 1693
本文主要结合PatchTST的源码对内部工作原理进行学习解析文章提出的主要几个创新点：1、主要是对于输入数据的改变，将已经切分好的样本（数据预处理阶段构建的训练集）再输入时切分为小片段（这个操作在后面的Crossformer中的输入也出现了，或许此类操作是着实有效的）；2、独立的变量处理，主要意思是在变量的维度上进行单独的计算，不同于一般性的Transformer的编码计算（这一点的代码逻辑与Crossformer中也很类似，可以参考文章。
patchtst代码
10-12
Patchtst是一种用于执行补丁测试的代码工具。它的主要功能是验证软件的补丁是否能够正确地修复程序中的错误或漏洞，并确保在应用补丁后系统的功能和性能没有受到影响。 Patchtst的使用方法通常包括以下步骤： 1. ...
Transformer时间序列：PatchTST引领时间序列预测进
weixin_42010722的博客
06-28 7296
如果仅仅使用逐点计算的注意力机制，模型只能关注当前时间步的价格，而无法获取到前一天的价格信息。最近的一篇论文甚至表明，简单的线性模型在许多基准数据集上优于复杂的基于Transformer的预测模型（参见Zheng等人，2022）。在时间序列预测任务中，我们需要从过去的时间步中提取信息，以预测未来的时间步。该方法假设未来的数值可以通过过去的数值来估计，并且随着时间的推移，过去的数值对于预测的影响逐渐减弱。大多数基于 Transformer 的预测模型的研究工作都集中在构建新的机制，以简化原始的注意力机制。
PatchTST 项目安装和配置指南
gitblog_07388的博客
09-13 690
PatchTST 项目安装和配置指南 PatchTST An offical implementation of PatchTST: "A Time Series is Worth 64 Words: Long-term Forecasting with Transformers." (ICLR 2023) https:...
论文解读19——（PatchTST）A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
对流层的酱猪肘~的博客
01-24 2684
这篇是2023年ICLR的文章，提出了一种有效的多元时间序列预测和自监督表示学习模型 PatchTST，主要是基于Transformer做了以下两点改进： 1、将时间序列按照一定大小的窗口和步长切分成Patch，作为模型输入的Token捕捉局部信息； 2、通道独立性：以多变量时间序列为例，每个通道包含一个单变量时间序列，共享相同的嵌入和权重。最后使得基于Transformer的PatchTST模型在长期预测上超过DLinear等SOTA模型
时间序列预测的突破：理论与实践中的 PatchTST 算法
DarcyCode的博客
09-18 1479
总结而言，PatchTST 算法是一种突破性的时间序列预测方法，通过将时间序列划分为小块进行建模和预测，能够捕捉局部模式和长期依赖关系。通过与其他算法如 N-BEATS 和 N-HiTS 进行比较，我们可以选择最合适的算法来提高时间序列预测的准确性和效率。请注意，上述示例代码中的 PatchTST 算法是一个虚构的示例，实际上可能需要根据具体的问题和数据进行适当的修改和调整。通过比较它们的 RMSE 值，我们可以评估它们的准确性，选择最适合的算法用于特定的时间序列预测问题。
【论文阅读】2023-ICLR PatchTST
mataolc的博客
04-16 1051
论文提出一种基于Transformer的多变量时序预测及自监督表示学习的模型。基于两个关键部分： （1）将时序分割成子序列级别的patch，作为Transformer的输入token； （2）通道独立性，其中每个通道包含一个单变量时间序列，该时间序列在所有序列中共享相同的Embedding和 Transformer 权重。
PatchTST 项目使用教程
gitblog_01098的博客
08-08 392
PatchTST 项目使用教程 项目地址:https://gitcode.com/gh_mirrors/pa/PatchTST 1. 项目的目录结构及介绍 PatchTST/ ├── PatchTST_self_supervised/ │ ├── ... ├── PatchTST_supervised/ │ ├── ... ├── pic/ │ ├── ... ├── .gitattr...
A Time Series is Worth 64 Words（PatchTST模型）论文解读
热门推荐
qq_20144897的博客
02-18 1万+
论文A Time Series is Worth 64 Words:Long-Time Forecasting With Tranformer解读，最新时间序列预测SOTA模型PatchTST
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>