patchTST

已于 2024-02-07 22:35:31 修改
阅读量790 收藏 9
点赞数 11
文章标签： 机器学习 gpt batch
于 2024-02-07 22:32:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Msc30839573/article/details/136074481
版权

一个链接写的挺好

PatchTST = Patch + Transformer

1.通道独立性

2.Patching

模型可以通过观察一组时间步骤而不是单个时间步骤来提取局部语义含义

大大减少了馈送到Transformer编码器的标记数量。在这里，每个patch都变成了输入到Transformer的一个token。这样，我们可以将token的数量从L减少到大约L/S 



Transformer时间序列：PatchTST引领时间序列预测进-CSDN博客

是攸宁啊
关注
  • 11
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PatchTST：时间序列预测的突破 从理论到实践，了解 PatchTST 算法并将其与 N-BEATS 和 N-HiTS 一起应用在 Python 中
iCloudEnd的博客
07-15 1554
基于 Transformer 的模型已成功应用于自然语言处理（例如 BERT 或 GPT 模型）和计算机视觉等许多领域。然而，当涉及到时间序列时，最先进的结果大多是通过 MLP 模型（多层感知器）实现的，例如N-BEATS和N-HiTS。最近的一篇论文甚至表明，在许多基准数据集上，简单的线性模型优于基于变压器的复杂预测模型（参见Cheng 等人，2022）。尽管如此，仍然提出了一种新的基于 Transformer 的模型，它可以为长期预测任务实现最先进的结果：PatchTST。
AI+HI系列（2）：PatchTST、TSMixer、ModernTCN时序深度网络构建量价因子.pdf
最新发布
07-03
AI+HI系列（2）：PatchTST、TSMixer、ModernTCN时序深度网络构建量价因子
PatchTST：长时间序列预测神器
hellozhxy的博客
10-08 5904
PatchTST是一个基于Transformer的模型，它使用Patch来提取时间序列数据中的局部语义。这使得该模型的训练速度更快，并且有更长的输入窗口。与其他基于Transformer的模型相比，它已经取得了SOTA的性能。在我们的案例中，看到它也取得了比N-BEATS和N-HiTS更好的性能。虽然这并不意味着它比N-HiTS或N-BEATS更好，但在进行长期预测时，它仍然是一个很好选择。
【文章学习系列之模型】PatchTST
博客标题不能为空
04-21 3073
《A Time Series is Worth 64 Words: Long-term Forecasting with Transformers》是2023年发表于ICLR的一篇文章。该文章借鉴了计算机视觉领域的Vision Transformer（ViT）的方法，仅使用Encoder部分，提出了一种时序分块方法。
【论文阅读】2023-ICLR PatchTST
mataolc的博客
04-16 917
论文提出一种基于Transformer的多变量时序预测及自监督表示学习的模型。基于两个关键部分： （1）将时序分割成子序列级别的patch，作为Transformer的输入token； （2）通道独立性，其中每个通道包含一个单变量时间序列，该时间序列在所有序列中共享相同的Embedding和 Transformer 权重。
A Time Series is Worth 64 Words（PatchTST模型）论文解读
热门推荐
qq_20144897的博客
02-18 1万+
论文A Time Series is Worth 64 Words:Long-Time Forecasting With Tranformer解读，最新时间序列预测SOTA模型PatchTST
Transformer时间序列：PatchTST引领时间序列预测进
weixin_42010722的博客
06-28 4923
如果仅仅使用逐点计算的注意力机制，模型只能关注当前时间步的价格，而无法获取到前一天的价格信息。最近的一篇论文甚至表明，简单的线性模型在许多基准数据集上优于复杂的基于Transformer的预测模型（参见Zheng等人，2022）。在时间序列预测任务中，我们需要从过去的时间步中提取信息，以预测未来的时间步。该方法假设未来的数值可以通过过去的数值来估计，并且随着时间的推移，过去的数值对于预测的影响逐渐减弱。大多数基于 Transformer 的预测模型的研究工作都集中在构建新的机制，以简化原始的注意力机制。
PatchTST.zip
06-24
《基于时间序列的预测方法——探索PatchTST.zip中的秘密》 时间序列分析在众多领域，如金融、气象预测、电子商务、物联网等中都扮演着重要角色。它是一种利用历史数据来预测未来趋势的方法，其核心是假设数据点在...
论文解读19——（PatchTST）A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
对流层的酱猪肘~的博客
01-24 1746
这篇是2023年ICLR的文章，提出了一种有效的多元时间序列预测和自监督表示学习模型 PatchTST，主要是基于Transformer做了以下两点改进： 1、将时间序列按照一定大小的窗口和步长切分成Patch，作为模型输入的Token捕捉局部信息； 2、通道独立性：以多变量时间序列为例，每个通道包含一个单变量时间序列，共享相同的嵌入和权重。最后使得基于Transformer的PatchTST模型在长期预测上超过DLinear等SOTA模型
PatchTST: 基于Transformer的长时间序列预测
数据派THU
02-23 323
来源：算法进阶 本文约1200字，建议阅读5分钟 本文证明了 DLinear 中 Transformer可能不适合于序列预测任务的声明是值得商榷的。本文中了 2023 ICLR。PatchTST 作为 Transformer-based 预测模型，它是和计算机视觉中的 ViT 最相似的一篇论文（文章标题也很像）。它成功超过了 DLinear，也证明了 DLinear 中 Transformer可能...
PatchTST 论文解读
chengmoling的博客
04-27 1813
代码地址：https://github.com/yuqinie98/patchtt。
ICLR 2023 | PatchTST: 基于Transformer的长时间序列预测
Paper weekly
02-10 9923
©作者 |杜大钊单位 |中科院软件所研究方向 |时序建模本文中了 2023 ICLR。作为 Transformer-based 预测模型，它是和计算机视觉中的 ViT 最相似的一篇论文（文章标题也很像）。它成功超过了 DLinear，也证明了 DLinear 中 Transformer可能不适合于序列预测任务的声明是值得商榷的。论文标题：A Time Series is Worth 64 W...
A Time Series is Worth 64 Words（PatchTST模型）代码解析
qq_20144897的博客
04-28 8857
PatchTST模型代码解读
patch命令详解
xmchenwl的博客
11-16 559
http://blog.csdn.net/wh_19910525/article/details/7515540 http://spazzzz.blog.51cto.com/2707720/624944
【论文下饭】PatchTST中的channel-independence
LittleSeedling的博客
05-22 1761
文中提出两点创新点： （1）Patching （2）Channel-independence因为时间序列，某个时间步前后时刻的值十分接近，所以可以使用patching聚合。 good：bad：将时间序列的每个变量单独考虑，即单独送入中。 good：bad：1. 模型总览 2. 数据集 以下内容为论文附录中提及的Channel-independence的好处：3. 消融实验 Only channel-independence: P（patch的长度）和S（patch的步长）设置为1。 Only patchi
PatchTST
qq_51844463的博客
12-11 733
对于每一个单变量序列（已经通过转换从[L,M]->[M,L]），将长为L序列切成N块，每块长度P（图1）。另外一个要提到的点是Position Embedding，论文用的是learnable的PE，用nn.init.uniform_(W_pos, -0.02, 0.02)来初始化。因为每个维度的信息是有限的，所以没有那么容易拟合。不同Channel的数据有不同的规律，如果直接mix后投射到一个空间上会不太好学。如果一个channel的数据有噪声，也容易影响所有channel，分开则没有这样的影响。
TimesNet 代码阅读
weixin_44907625的博客
03-25 6551
总结一下，两个输出，一个period_list指不同的周长（29、14、9）的频率信号，一个period_weight指的是三个不同周长信号的频率幅值。
PETformer：正确打开Transformer多元时间序列预测的一种方法
weixin_54335478的博客
09-09 813
Transformer如何应用于时间序列预测一直是近期探讨的一个核心问题，包括多变量建模的处理方式、Transformer的结构等。在中，提出了用线性模型打败Transformer模型；在后来的等工作中，又验证了Transformer的有效性。那么，到底如何使用Transformer进行时间序列预测效果最好呢？这里给出另外两篇工作的Github链接，大家可以阅读代码学习建模思路：文章主要从两个角度探索了Transformer如何应用于时间序列预测，一方面是Transformer的结构上，提出了。
NAST:时间序列预测的非自回归时空Transformer模型
zzh1464501547的博客
06-09 2524
NAST:时间序列预测的非自回归时空Transformer模型 [Submitted on 10 Feb 2021] 关注人工智能学术前沿 回复 ：ts22 5秒免费获取论文pdf文档，及项目源码 摘要 虽然Transformer在很多领域取得了突破性的成功，特别是在自然语言处理(NLP)领域，但将其应用于时间序列预测仍然是一个巨大的挑战。在时间序列预测中，规范化 Transformer模型的自回归译码不可避免地会引入巨大的累积误差。此外，利用Transformer来处理问题中的时..
patchtst代码
10-12
Patchtst是一种用于执行补丁测试的代码工具。它的主要功能是验证软件的补丁是否能够正确地修复程序中的错误或漏洞，并确保在应用补丁后系统的功能和性能没有受到影响。 Patchtst的使用方法通常包括以下步骤： 1. 准备测试环境：首先需要搭建一个测试环境，包括安装正确版本的软件以及提供包含漏洞的测试用例或数据集。 2. 选择合适的补丁：根据软件的实际情况，选择合适的补丁进行测试。补丁可以是官方提供的更新包或者第三方开发人员自行开发的修复程序。 3. 执行补丁测试：使用Patchtst工具加载补丁，并针对测试用例或数据集进行一系列的测试。测试的内容可以包括功能测试、性能测试、安全测试等。 4. 分析测试结果：Patchtst会自动分析测试过程中收集到的数据，并生成测试报告。测试报告会详细说明补丁是否成功修复了原有的错误或漏洞，以及在应用补丁后系统的功能和性能表现如何。 5. 验证和反馈：根据测试报告中的结果，开发人员可以验证补丁的有效性。如果发现补丁未能完全修复问题，开发人员可以使用Patchtst提供的反馈机制报告问题，以便进一步改进和修复。 总体而言，Patchtst是一款非常有用的工具，可以帮助开发人员验证补丁的有效性并确保系统的功能和性能不受到影响。它的使用可以提高软件的质量，减少错误和漏洞的存在，提供更加可靠和安全的系统。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值