时间序列在数据embedding方面有哪些创新方法和工作？

时间序列数据的嵌入工作也很重要！

我们看到的很多论文，大多把注意力集中到模型结构的改进上，比如：注意力机制、编码器、解码器设计和改进等。但是，却少有人关注到时间序列数据的embedding上。

特别是Transformer架构中的自注意力层无法保留时间序列的位置信息。但同时，局部位置信息，即时间序列的顺序是极其重要的。本篇文章就整理了近期在时序数据输入嵌入方面的工作，这些工作为了增强时间序列输入的时间上下文，改进了时序数据的嵌入方式，如：固定的位置编码、通道投影嵌入、可学习的时态嵌入、带有时间卷积层的时态嵌入等。

1

论文标题：LEARNING TO EMBED TIME SERIES PATCHES INDEPENDENTLY（ICLR24）

掩蔽时间序列建模作为一种自监督表示学习策略，最近在时间序列分析领域受到了极大的关注。但作者认为，捕捉patch之间的依赖关系可能并不是时间序列表示学习的最佳策略。相反，独立学习嵌入每个patch可能会得到更好的时间序列表示。作者建议采用以下两种方法：1) 简单的patch重建任务，即在不参考其他块的情况下对每个patch进行自编码；2) 简单的patch级多层感知机（MLP），它独立地嵌入每个patch。此外，还引入补充性的对比学习，以分层的方式高效捕捉相邻时间序列的信息。该方法在时间序列预测和分类的性能上超越了现有的基于Transformer的最先进的模型，同时在参数数量以及训练和推理时间上都更为高效。

论文代码：https://github.com/seunghan96/pi