IJCAI 2023丨时间序列预测（Time Series Prediction）论文汇总

【1】CTW: Confident Time-Warping for Time-Series Label-Noise Learning

论文链接：https://www.ijcai.org/proceedings/2023/0450.pdf

代码链接：https://github.com/qianlima-lab/CTW

一句话总结全文：提出了一种通过时间扭曲（CTW）扩展Confdent实例分布的方法，以学习时间序列的鲁棒表示。

研究内容：噪声标签严重降低了深度神经网络在各种分类任务中的泛化能力。现有关于标签噪声学习的研究主要集中在计算机视觉上，而时间序列也存在同样的问题。将计算机视觉的方法直接应用到时间序列中，可以减少由于不同数据特性造成的时间依赖性。如何利用时间序列的特性使DNN能够在存在噪声标签的情况下学习鲁棒表示，还没有得到充分的探索。为此，本文提出了一种通过时间扭曲（CTW）扩展Confdent实例分布的方法，以学习时间序列的鲁棒表示。具体来说，由于将增强方法应用于所有数据可能会引入额外的错误标记数据，因此我们选择confident实例来实现时间扭曲。此外，我们对每个类的训练损失分布进行了归一化，以消除模型对不同类实例的选择偏好，缓解了样本选择造成的类不平衡。大量实验结果表明，当处理不同类型的噪声时，CTW在UCR数据集上实现了最先进的性能。此外，我们的方法的t-SNE可视化验证了增强confident数据可以提高泛化能力。

【2】SMARTformer: Semi-Autoregressive Transformer with Efficient Integrated Window Attention for Long Time Series Forecasting

论文链接：https://www.ijcai.org/proceedings/2023/0241.pdf

一句话总结全文：介绍了SMARTformer，它代表SeMi自回归变换器。

研究内容：Transformers在长时间序列预测（LTSF）中的成功可归因于它们的注意力机制和非自回归（NAR）解码器结构，它们捕获了长程依赖关系。然而，时间序列数据也包含丰富的局部时间相关性，这在文献中经常被忽视，并严重阻碍了预测性能。为了解决这个问题，我们介绍了SMARTformer，它代表SeMi自回归变换器。SMARTformer利用集成窗口注意（IWA）和半自回归（SAR）解码器从编码器和解码器的角度捕获全局和局部相关性。IWA在多尺度窗口中进行局部自注意，并在具有线性复杂性的窗口中进行全局注意，以在局部和扩大的感受性长石中实现互补线索。SAR迭代生成子序列，类似于自回归（AR）解码，但以NAR方式引用整个序列。这样，SAR既受益于NAR的全局范围，也受益于AR的局部细节捕获。我们还引入了时间无关嵌入（TIE），它通过避免在值嵌入中直接添加位置嵌入时可能发生的各种周期的纠缠，更好地捕获局部依赖性。我们在fve基准数据集上的广泛实验证明了SMARTformer相对于最先进的模型的有效性，在多变量和单变量长期预测中分别提高了10.2%和18.4%

【3】DeLELSTM: Decomposition-based Linear Explainable LSTM to Capture Instantaneous and Long-term Effects in Time Series

论文链接：https://arxiv.org/abs/2308.13797

一句话总结全文：提出了一种基于分解的线性可解释LSTM（DeLELSTM）来提高LSTM的可解释性。

研究内容：时间序列预测在各种现实应用中普遍存在。尽管深度学习模型在时间序列预测中，特别是递归神经网络（RNN）取得了很好的结果，但对时间序列模型的解释却很少受到关注，而时间序列模型在高风险应用中至关重要。在本文中，我们提出了一种基于分解的线性可解释LSTM（DeLELSTM）来提高LSTM的可解释性。传统上，RNN的可解释性只集中在变量重要性和时间重要性上。我们还区分了新数据的即时影响和历史数据的长期影响。具体而言，DeLELSTM由两个部分组成，即标准LSTM和张量LSTM。tensorized LSTM为每个变量分配一个唯一的隐藏状态，组成矩阵ht，而标准LSTM为所有变量建模，使其具有共享的隐藏状态ht。通过将Ht分解为过去信息Ht−1和新信息Ht−Ht−1的线性组合，我们可以得到每个变量的瞬时影响和长期影响。此外，线性回归的优势也使解释透明明了。我们在三个经验数据集上证明了DeLELSTM的有效性和可解释性。大量实验表明，所提出的方法与基线方法相比具有竞争力，并提供了相对于领域知识的可靠解释。

【4】Learning Gaussian Mixture Representations for Tensor Time Series Forecasting

论文链接：https://arxiv.org/abs/2306.00390

代码链接：https://github.com/beginner-sketch/GMRL

一句话总结全文：开发了一种新的TTS预测框架，该框架试图对时间、位置和源变量中隐含的每个异质性分量进行单独建模。

研究内容：张量时间序列（TTS）数据是高维空间上一维时间序列的推广，在现实世界场景中无处不在，尤其是在涉及多源时空数据（如交通需求和空气污染物）的监测系统中。与近年来备受关注并取得巨大进展的时间序列或多元时间序列建模相比，张量时间序列的建模工作较少。由于张量时间序列的高维和复杂的内部结构，正确处理它是一项更具挑战性的任务。在本文中，我们开发了一种新的TTS预测框架，该框架试图对时间、位置和源变量中隐含的每个异质性分量进行单独建模。我们将这个框架命名为GMRL，是高斯混合表示学习的缩写。在两个真实世界TTS数据集上的实验结果验证了我们的方法与最先进的基线相比的优越性。

【5】Distilling Universal and Joint Knowledge for Cross-Domain Model Compression on Time Series Data

论文链接：https://arxiv.org/abs/2307.03347

一句话总结全文：设计了一种新的端到端框架，称为通用和联合知识提取（UNI-KD），用于跨域模型压缩。

研究内容：对于许多真实世界的时间序列任务，流行的深度学习模型的计算复杂性往往阻碍了在资源有限的环境（例如智能手机）上的部署。此外，由于模型训练（源）和部署（目标）阶段之间不可避免的领域转换，在跨领域场景下压缩这些深度模型变得更具挑战性。尽管现有的一些工作已经探索了用于模型压缩的跨领域知识提取，但它们要么偏向于源数据，要么在源数据和目标数据之间严重纠缠。为此，我们设计了一种新的端到端框架，称为通用和联合知识提取（UNI-KD），用于跨域模型压缩。特别是，我们建议通过对抗性学习方案，将跨源域和目标域的通用特征级知识以及两个域共享的联合logit级知识从教师模型转移到学生模型。更具体地说，使用特征域鉴别器来对齐教师和学生的表示，以实现普遍的知识转移。利用数据域鉴别器对域共享样本进行优先级排序，以进行联合知识转移。在四个时间序列数据集上的大量实验结果表明，我们提出的方法优于最先进的（SOTA）基准。

【6】Not Only Pairwise Relationships: Fine-Grained Relational Modeling for Multivariate Time Series Forecasting

论文链接：https://www.ijcai.org/proceedings/2023/0491.pdf

一句话总结全文：提出了一种基于关系建模的方法ReMo，以促进多变量时间序列数据之间的fne粒度关系学习。

研究内容：最近的基于图的方法由于能够处理时间序列变量之间的关系，在多变量时间序列建模和预测中取得了显著的成功。然而，在大多数现有的作品中，只考虑成对关系。它们忽略了超越配对关系及其在实际场景中的潜在类别，这导致多变量时间序列预测的关系学习不全面。在本文中，我们提出了一种基于关系建模的方法ReMo，以促进多变量时间序列数据之间的fne粒度关系学习。首先，通过将时间序列变量和复杂关系视为节点和超边，我们从数据中提取多视图超图，以捕获超越成对关系的数据。其次，设计了一种新的超图消息传递策略，通过推断潜在的关系类别并进一步区分它们对时间序列变量的影响来表征节点和超边。通过将这两个模块集成到时间序列预测框架中，ReMo有效地提高了多变量时间序列预测的性能。在来自不同领域的七个常用数据集上的实验结果证明了我们的模型的优越性。

【7】Self-Recover: Forecasting Block Maxima in Time Series from Predictors with Disparate Temporal Coverage Using Self-Supervised Learning

论文链接：https://www.ijcai.org/proceedings/2023/0414.pdf

一句话总结全文：提出了自恢复，这是一种深度学习框架，通过使用自监督学习来解决变化的时间数据覆盖问题，来预测时间窗口的块最大值。

研究内容：由于推断目标变量的尾部分布很困难，预测未来时间窗口的块最大值是一项具有挑战性的任务。由于仅凭历史观测可能不足以训练稳健的模型来预测区块最大值，因此在许多科学领域中通常可以使用领域驱动的过程模型来补充观测数据并提高预测精度。不幸的是，将历史观测与过程模型输出相结合是一个挑战，因为它们的时间覆盖范围不同。本文提出了自恢复，这是一种深度学习框架，通过使用自监督学习来解决变化的时间数据覆盖问题，来预测时间窗口的块最大值。特定自恢复使用对比和生成自监督学习方案的组合，以及去噪自动编码器来估算缺失值。该框架还通过残差学习方法将历史观测的表示与过程模型输出相结合，并学习表征块最大值的广义极值（GEV）分布。这使得该框架能够可靠地估计每个时间窗口的块最大值及其置信区间。在真实世界数据集上进行的大量实验表明，与其他最先进的预测方法相比，自恢复具有优越性。

【8】Teacher Assistant-Based Knowledge Distillation Extracting Multi-level Features on Single Channel Sleep EEG

论文链接：https://www.ijcai.org/proceedings/2023/0439.pdf

代码链接：https:// github.com/HychaoWang/SleepKD

论文主页：https://hychaowang.github.io/SleepKD/

一句话总结全文：提出了一种新的用于睡眠阶段分类任务的通用知识提取框架，称为SleepKD。

研究内容：睡眠阶段分类对睡眠障碍的诊断具有重要意义。然而，现有的基于深度学习的睡眠阶段分类模型通常规模相对较大（更宽、更深），这使得它们很难部署在可穿戴设备上。因此，减轻现有的睡眠阶段分类模型是一个挑战。在本文中，我们提出了一种新的用于睡眠阶段分类任务的通用知识提取框架，称为SleepKD。我们的SleepKD由多级模块、教师助理模块和其他知识提取模块组成，旨在简化大规模的睡眠阶段分类模型。具体而言，多级模块能够将教师模型（大规模模型）从睡眠信号中提取的多级知识转移到学生模型（轻量级模型）。此外，教师助理模块弥合了师生网络之间的巨大差距，并进一步提高了升华能力。我们在两个公共睡眠数据集（sleep-EDF和ISRUC-III）上评估了我们的方法。与基线方法相比，结果表明我们的知识提取框架实现了最先进的性能。SleepKD可以显著减轻睡眠模型的负担，同时保持其分类性能。

【9】Spatial-Temporal Self-Attention for Asynchronous Spiking Neural Networks

论文链接：https://www.ijcai.org/proceedings/2023/0344.pdf

一句话总结全文：提出了一种基于SNN的时空自注意（STSA）机制，该机制在不破坏SNN异步传输特性的情况下计算跨时间和空间域的特征依赖性。

研究内容：受大脑启发的尖峰神经网络（SNN）由于其异步事件驱动的特性和低功耗而受到越来越多的关注。随着注意力机制最近成为序列依赖建模中不可或缺的一部分，SNN和注意力机制的结合在节能和高性能计算范式中具有巨大的潜力。然而，现有的工作不能同时受益于时间上的关注和SNN的异步特性。为了充分利用SNN和注意力机制的优势，我们提出了一种基于SNN的时空自注意（STSA）机制，该机制在不破坏SNN异步传输特性的情况下计算跨时间和空间域的特征依赖性。为了进一步提高性能，我们还为STSA提出了一种时空相对位置偏差（STRPB），以考虑尖峰的时空位置。基于STSA和STRPB，我们构建了一个时空尖峰变压器框架，名为STS变压器，它功能强大，使SNN能够以异步事件驱动的方式工作。在流行的神经形态数据集和语音数据集上进行了广泛的实验，包括DVS128手势、CIFAR10-DVS和谷歌语音命令，我们的实验结果可以优于其他最先进的模型。

【10】Teacher Assistant-Based Knowledge Distillation Extracting Multi-level Features on Single Channel Sleep EEG

论文链接：https://www.ijcai.org/proceedings/2023/0439.pdf

代码链接：https:// github.com/HychaoWang/SleepKD

论文主页：https://hychaowang.github.io/SleepKD/

一句话总结全文：提出了一种新的用于睡眠阶段分类任务的通用知识提取框架，称为SleepKD。

研究内容：睡眠阶段分类对睡眠障碍的诊断具有重要意义。然而，现有的基于深度学习的睡眠阶段分类模型通常规模相对较大（更宽、更深），这使得它们很难部署在可穿戴设备上。因此，减轻现有的睡眠阶段分类模型是一个挑战。在本文中，我们提出了一种新的用于睡眠阶段分类任务的通用知识提取框架，称为SleepKD。我们的SleepKD由多级模块、教师助理模块和其他知识提取模块组成，旨在简化大规模的睡眠阶段分类模型。具体而言，多级模块能够将教师模型（大规模模型）从睡眠信号中提取的多级知识转移到学生模型（轻量级模型）。此外，教师助理模块弥合了师生网络之间的巨大差距，并进一步提高了升华能力。我们在两个公共睡眠数据集（sleep-EDF和ISRUC-III）上评估了我们的方法。与基线方法相比，结果表明我们的知识提取框架实现了最先进的性能。SleepKD可以显著减轻睡眠模型的负担，同时保持其分类性能。