Transformers in Time Series: A Survey
我们通过讨论时间序列Transformer可能的未来方向来总结这项工作,包括时间序列Transformer的归纳偏差,时间序列Transformer和GNN,时间序列的预训练Transformer,具有架构电平变体的Transofrmer,以及用于时间序列的具有NAS的Transformer。此外,有趣的是,一些研究采用了看似相反的归纳偏倚,但都取得了很好的数值改进.通过利用信道无关的注意模块消除了跨通道依赖,而一个有趣的工作通过利用两阶段注意机制的跨维度依赖来提高实验性能。
原创
2024-03-18 10:41:47 ·
850 阅读 ·
0 评论