![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
时间序列
文章平均质量分 87
幼儿园大哥~
笑口常开,好彩自然来
展开
-
VCformer
多变量时间序列(MTS)预测已广泛应用于天气预报和能源消耗等不同领域。然而,目前的研究仍依赖于普通的逐点自注意机制来捕捉变量间的依赖关系,这种方法在提取变量间复杂的交叉相关性方面显得不足。为了解决这一问题,我们提出了变量相关变换器(VCformer),它利用变量相关注意力(VCA)模块来挖掘变量之间的相关性。具体而言,基于随机过程理论,VCA计算并整合查询和键之间对应于不同滞后时间的交叉相关性评分,从而增强其发现多变量关系的能力。原创 2024-07-25 15:26:55 · 368 阅读 · 0 评论 -
PatchTST创新点
这篇论文的创新点主要集中在PatchTST模型的设计和应用中。原创 2024-07-01 10:42:43 · 966 阅读 · 0 评论 -
A Time Series Is Worth 64 Words:Long-term Forecasting With Transformer
我们提出了一种高效设计的基于Transformer的模型,用于多变量时间序列预测和自监督表示学习。它基于两个关键组件:(i) 将时间序列分割成子序列级别的补丁,这些补丁作为Transformer的输入标记;(ii) 频道独立性,每个频道包含单一的单变量时间序列,这些序列共享相同的嵌入和Transformer权重。补丁设计自然具有三重好处:嵌入中保留了局部语义信息;在给定相同回看窗口的情况下,注意力图的计算和内存使用量成平方比例减少;模型可以关注更长的历史记录。原创 2024-07-01 10:34:35 · 1253 阅读 · 0 评论 -
SAMformer创新点
SAMformer 提供了一种新的方法来改进变换器(Transformer)在时间序列预测任务中的性能,特别是针对泛化能力和训练稳定性问题。具体来说,SAMformer结合了两个关键技术:锐度感知最小化(Sharpness-Aware Minimization, SAM)和通道注意力(Channel-Wise Attention)。原创 2024-06-28 16:47:19 · 907 阅读 · 0 评论 -
SAMformer:通过锐度感知最小化和通道注意力解锁变换器在时间序列预测中的潜力
基于变换器的架构在自然语言处理和计算机视觉中取得了突破性的表现,然而在多变量长期预测中,它们仍然不如更简单的线性基线。为了更好地理解这一现象,我们从研究一个玩具线性预测问题开始,展示了尽管变换器具有高表达能力,但它们无法收敛到其真实解。我们进一步确定了变换器的注意力机制是导致这种低泛化能力的原因。在此见解的基础上,我们提出了一种轻量级的浅层变换器模型,该模型通过锐度感知优化成功地逃避了坏的局部极小值。我们通过实验证明,这一结果适用于所有常用的真实世界多变量时间序列数据集。原创 2024-06-28 10:38:54 · 1412 阅读 · 0 评论 -
Transformer
Transformer是基于自注意力机制(Self-Attention)的模型,自注意力机制的一个特点是它对输入序列中的所有单词同时进行处理,而不是逐步处理。通过位置编码,可以给模型提供每个单词在序列中的位置信息,使得模型不仅能关注单词本身,还能关注单词之间的相对位置关系。位置编码确保了模型能够识别输入序列中的顺序,同时保证输入序列的平移不变性。Transformer使用的常见位置编码方法是正弦和余弦函数,这种方式能够在不同的位置生成唯一的编码,同时具有平滑的变化和良好的扩展性。保持输入顺序的平移不变性。原创 2024-06-13 21:44:08 · 985 阅读 · 0 评论 -
Informer代码
存疑 EXP_Informer是什么。存疑,三种编码特征分别是什么。存疑 padding含义。原创 2024-06-11 21:56:27 · 403 阅读 · 1 评论 -
Python深度学习代码简介
PackagesModulesPython_init_.pyPython.pyimport。原创 2024-06-11 17:10:25 · 617 阅读 · 0 评论 -
Autoformer
我们设计了AutoformerAutoformerAutoformer作为一种新型分解架构,带有自相关机制。我们打破了序列分解的预处理惯例,并将其革新为深度模型的基本内部模块。这种设计使AutoformerAutoformerAutoformer具备了对复杂时间序列的渐进分解能力。进一步地,受随机过程理论的启发,我们基于序列周期性设计了自相关机制,它在子序列级别进行依赖关系的发现和表示聚合。原创 2024-06-11 16:39:22 · 1884 阅读 · 0 评论 -
Informer
长序列时间序列的预测informerinformerinformerProbspareProbspareProbspare自关注机制,在时间复杂度和内存使用方面达到ONlogNO(NlogN)ONlogN,在序列依赖对齐方面性能较好。自注意蒸馏通过将级联层输入减半来突出主导注意力,并有效地处理极长的输入序列。以一次向前操作的方式预测长序列时间序列,提高了长序列预测的推理速度。1.简介。原创 2024-06-02 14:23:41 · 379 阅读 · 1 评论