![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
时间序列
文章平均质量分 87
幼儿园大哥~
笑口常开,好彩自然来
展开
-
Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting创新点
创新性概述:通过详细的贡献总结,进一步明确了论文的创新点及其在时间序列预测领域的意义。具体内容增强了非平稳序列的预测能力:通过详细分析,明确了非平稳序列的预测能力在实际时间序列预测中的重要性。提出了非平稳变压器框架:包括序列平稳化和去平稳化注意力两个模块,解决了传统平稳化方法导致的过度平稳化问题。显著提升了主流变压器模型的性能:通过在多个基准数据集上的实验验证,展示了非平稳变压器在实际应用中的优越性能。原创 2024-07-04 14:34:32 · 954 阅读 · 0 评论 -
Transformer和iTransformer比较
Transformer方法以时间步为单位,进行时间维度上的嵌入和注意力机制,捕捉时间依赖性。前馈网络处理多变量的混合表示,适合处理时间序列中的整体趋势和变化。iTransformer方法以变量为单位,进行变量维度上的嵌入和注意力机制,捕捉变量之间的关系。前馈网络处理未混合的变量表示,保留各变量的独立特性,适合处理多变量间的复杂关系。通过这种“反转”的处理视角,iTransformer能够更有效地利用多变量之间的信息,提高预测性能。原创 2024-07-03 10:49:17 · 507 阅读 · 0 评论 -
PatchTST创新点
这篇论文的创新点主要集中在PatchTST模型的设计和应用中。原创 2024-07-01 10:42:43 · 862 阅读 · 0 评论 -
A Time Series Is Worth 64 Words:Long-term Forecasting With Transformer
我们提出了一种高效设计的基于Transformer的模型,用于多变量时间序列预测和自监督表示学习。它基于两个关键组件:(i) 将时间序列分割成子序列级别的补丁,这些补丁作为Transformer的输入标记;(ii) 频道独立性,每个频道包含单一的单变量时间序列,这些序列共享相同的嵌入和Transformer权重。补丁设计自然具有三重好处:嵌入中保留了局部语义信息;在给定相同回看窗口的情况下,注意力图的计算和内存使用量成平方比例减少;模型可以关注更长的历史记录。原创 2024-07-01 10:34:35 · 1223 阅读 · 0 评论 -
SAMformer创新点
SAMformer 提供了一种新的方法来改进变换器(Transformer)在时间序列预测任务中的性能,特别是针对泛化能力和训练稳定性问题。具体来说,SAMformer结合了两个关键技术:锐度感知最小化(Sharpness-Aware Minimization, SAM)和通道注意力(Channel-Wise Attention)。原创 2024-06-28 16:47:19 · 863 阅读 · 0 评论 -
SAMformer:通过锐度感知最小化和通道注意力解锁变换器在时间序列预测中的潜力
基于变换器的架构在自然语言处理和计算机视觉中取得了突破性的表现,然而在多变量长期预测中,它们仍然不如更简单的线性基线。为了更好地理解这一现象,我们从研究一个玩具线性预测问题开始,展示了尽管变换器具有高表达能力,但它们无法收敛到其真实解。我们进一步确定了变换器的注意力机制是导致这种低泛化能力的原因。在此见解的基础上,我们提出了一种轻量级的浅层变换器模型,该模型通过锐度感知优化成功地逃避了坏的局部极小值。我们通过实验证明,这一结果适用于所有常用的真实世界多变量时间序列数据集。原创 2024-06-28 10:38:54 · 1345 阅读 · 0 评论 -
iTransformer
此外,为每个时间序列标记嵌入的每个变量融合了多个表示潜在延迟事件和不同物理测量值的变量,这可能导致学习基于变量的表示并最终导致注意力图无意义。在这项工作中,我们反思了Transformer组件的职责,并在不修改基本组件的情况下重新利用Transformer架构。iTransformer模型在具有挑战性的真实数据集上实现了最新的表现,这进一步提升了Transformer家族的性能,在不同的变量上具有推广能力,并且更好地利用了任意回溯窗口,使其成为时间序列预测的基本骨干替代方案。原创 2024-06-20 19:05:49 · 232 阅读 · 0 评论 -
Transformer
Transformer是基于自注意力机制(Self-Attention)的模型,自注意力机制的一个特点是它对输入序列中的所有单词同时进行处理,而不是逐步处理。通过位置编码,可以给模型提供每个单词在序列中的位置信息,使得模型不仅能关注单词本身,还能关注单词之间的相对位置关系。位置编码确保了模型能够识别输入序列中的顺序,同时保证输入序列的平移不变性。Transformer使用的常见位置编码方法是正弦和余弦函数,这种方式能够在不同的位置生成唯一的编码,同时具有平滑的变化和良好的扩展性。保持输入顺序的平移不变性。原创 2024-06-13 21:44:08 · 975 阅读 · 0 评论 -
Informer代码
存疑 EXP_Informer是什么。存疑,三种编码特征分别是什么。存疑 padding含义。原创 2024-06-11 21:56:27 · 355 阅读 · 1 评论 -
Python深度学习代码简介
PackagesModulesPython_init_.pyPython.pyimport。原创 2024-06-11 17:10:25 · 592 阅读 · 0 评论 -
Autoformer
我们设计了AutoformerAutoformerAutoformer作为一种新型分解架构,带有自相关机制。我们打破了序列分解的预处理惯例,并将其革新为深度模型的基本内部模块。这种设计使AutoformerAutoformerAutoformer具备了对复杂时间序列的渐进分解能力。进一步地,受随机过程理论的启发,我们基于序列周期性设计了自相关机制,它在子序列级别进行依赖关系的发现和表示聚合。原创 2024-06-11 16:39:22 · 1794 阅读 · 0 评论 -
Informer
长序列时间序列的预测informerinformerinformerProbspareProbspareProbspare自关注机制,在时间复杂度和内存使用方面达到ONlogNO(NlogN)ONlogN,在序列依赖对齐方面性能较好。自注意蒸馏通过将级联层输入减半来突出主导注意力,并有效地处理极长的输入序列。以一次向前操作的方式预测长序列时间序列,提高了长序列预测的推理速度。1.简介。原创 2024-06-02 14:23:41 · 366 阅读 · 1 评论