文章提出MTS-Mixer模型，针对Transformer在处理时间序列数据时的局限，如注意力机制非必需及冗余问题，MTS-Mixer采用两种因子化模块有效捕获时间与通道相关性。实验证明，MTS-Mixer在效率和性能上超过基于Transformer的现有模型，尤其适用于多元时间序列的低秩特性建模。
2023，华为
1. 简介
由于擅长捕获了长期依赖性，基于Transformer的模型最近取了很多进展，也是研究的热点。但是作者发现Attention机制有以下问题（1）对于捕获时间相关，注意力机制性不是必需的（2）时间和channel的交互作用的捕获中的纠缠和冗余影响了预测性能，（3）对输入和预测序列之间的映射进行建模很重要。为此，我们提出了MTS混合器，它使用两个因子化模块来捕获时间和信道相关性。在多个真实数据集上的实验结果表明，MTS Mixer以更高的效率优于现有的基Transformer的模型。
如下图所示，多元时间序列无论是在temporal维度还是channel维度，都存在比较强的冗余性。这些冗余性都表明，大多数多元时间序列都存在低秩性，即只用一小部分数据就可以表示出近似完整的原始矩阵。利用这个性质，可以简化多多元时间序列的建模。
2. MTS-Mixer模型
MTS-Mixer的模型结构如下，第二列是一个抽象结构，后面3列是具体的实现方法
这三种实现方式的整体计算逻辑可以表示为如下形式，时间维度信息提取+空间维度信息提取+信息融合和输出映射。
Attention-based MTS-Mixer
Random matrix MTS-Mixer
Factorized temporal and channel mixing
3. 实验结果
论文对比了MTS-Mixer和多种模型的效果，基本都达到了SOTA效果
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
