ViolenceTemper的博客

本专栏主要整理了作者在时间序列预测领域内的一些学习思路与代码整理，帮助大家在初进入此领域时，可以快速掌握代码进行实战操作，对代码的操作再结合论文阅读肯定是上升更快嘛，作者也愿意和大家一起讨论进步，下面的内容会逐步更新，作者主页的资源列也会放出一些可下载的资源供大家参考学习噢。

实战代码运行系列---TCN结构，时间序列预测卷积的应用方案

整体代码框架基本上与传统 Transformer 类似，基本上只有在内嵌的注意力机制模块有区别，因此这里只对关键部分进行讲解，代码整体框架可参考 Transformer。非平稳时序很难预测，尤其对模型泛化性影响很大，试想下推理阶段的数据分布变了，模型很难适应这种变化。，比如很早以前的差分就是一种平稳化操作。序列平稳化能增强数据的可预测性，但这时也会带来一个问题，叫。，通过MLP层进行定义，使得参数可学习，以便于更好的融合到注意力网络中。代码中整体注意力的计算方式与原生Transformer类似，

待预测的序列长度远远大于输入长度，即基于有限的信息预测更长远的未来。上述需求使得此预测问题极具挑战性，对于模型的预测能力及计算效率有着很强的要求。另外，然而在时间序列预测问题中，序列的分布可能随时间轴的推进不断变化，这就需要模型具备更强的外推能力。整体代码框架基本上与Autoformer类似，基本上只有在内嵌的注意力机制模块有区别，因此这里只对关键部分进行讲解，代码整体框架可参考Autoformer。FEDformer要解决的问题。FEDformer解决的方式。FEDformer框架图。

突破将序列分解作为预处理的传统方法，提出深度分解架构（Decomposition Architecture），能够从复杂时间模式中分解出可预测性更强的组分。基于随机过程理论，提出自相关机制（Auto-Correlation Mechanism），代替点向连接的注意力机制，实现序列级（series-wise）连接并减小复杂度（可见问题1），打破信息利用瓶颈。代码中，实现a的方式是将原始序列分解为季节性变量与趋势性变量，然后注意力机制主要是对季节性变量进行计算；趋势性是在解码器时，与解码器每次计算完注意力后

【代码】时序预测中的Seq2Seq结构。

可以注意的是，一般性的Transformer中内嵌的注意力结构都为 FullAttention，所以将编码器、解码器里面的内嵌结构都替换为FullAttention后，则为传统Transformer结构了。通过使用 torch.arange(L_Q).unsqueeze(1) 与 index_sample 结合，你可以为每个查询选择对应的 sample_k 个键。torch.arange(L_Q) 生成一个从 0 到 L_Q-1 的整数序列，其中 L_Q 是查询的长度。AAAI 2021最佳论文。

近年来，深度模型被广泛用于时序分析任务中，例如循环神经网络（RNN）、时序卷积网络（TCN）和变换器网络（Transformer）。然而，前两类方法主要关注捕捉临近时刻之间的变化，在长期依赖上建模能力不足。Transformer虽然在建模长期依赖上具有天然优势，但是由于现实世界的时序变化极其复杂，仅仅依靠离散时间点之间的注意力（Attention）难以挖掘出可靠的时序依赖。

本文主要结合PatchTST的源码对内部工作原理进行学习解析文章提出的主要几个创新点：1、主要是对于输入数据的改变，将已经切分好的样本（数据预处理阶段构建的训练集）再输入时切分为小片段（这个操作在后面的Crossformer中的输入也出现了，或许此类操作是着实有效的）；2、独立的变量处理，主要意思是在变量的维度上进行单独的计算，不同于一般性的Transformer的编码计算（这一点的代码逻辑与Crossformer中也很类似，可以参考文章。

多变量输入实现多步预测完整代码实战示例

作者认为先前的基于Transformer的模型在捕获长期时间依赖性上可谓是下足了功夫，还提出各种Attention变体来降低复杂度。然而，这些方法都忽略了对不同变量的“跨维度依赖性”的捕获，也就是多变量时序中不同变量序列的相关性。作者认为对这种相关性的捕获是重要的，尤其是对于多变量时序预测任务来说。大框架上仍然使用了Encoder-Decoder结构。

作者是一名目前在于时间序列预测的算法工程师，基于自己的学习记录，对代码进行了整理，供初学者进行参考和学习，后续会对自己对于前沿模型的理解和学习心得以及代码都会整理到博客上，希望和大家多多讨论哦。