NeurIPS 2023丨时间序列预测（Time Series Prediction）论文汇总

【2】Finding Order in Chaos: A Novel Data Augmentation Method for Time Series in Contrastive Learningr

论文链接：https://arxiv.org/abs/2309.13439

代码链接：https://github.com/eth-siplab/Finding_Order_in_Chaos

一句话总结全文：提出了一种用于准周期时间序列任务的新型数据增强方法，旨在将类内样本连接在一起，从而在潜在空间中找到顺序。

研究内容：众所周知，对比学习的成功取决于数据增强。尽管通过在视觉等某些领域利用预定义技术可以很好地控制数据增强的程度，但由于数据生成机制的复杂性（例如复杂的机制），时间序列数据增强的探索较少，并且仍然是一个具有挑战性的问题参与心血管系统。此外，还没有广泛认可的通用时间序列增强方法可以应用于不同的任务。在本文中，我们提出了一种用于准周期时间序列任务的新型数据增强方法，旨在将类内样本连接在一起，从而在潜在空间中找到顺序。我们的方法建立在众所周知的混合技术的基础上，通过结合一种新颖的方法来解释非平稳时间序列的周期性。此外，通过控制数据增强产生的混乱程度，我们的方法可以改进下游任务的特征表示和性能。我们在三个时间序列任务上评估我们提出的方法，包括心率估计、人类活动识别和心血管疾病检测。针对最先进方法的大量实验表明，所提出的方法在这三个任务中优于最佳数据生成和已知数据增强技术的先前工作，反映了所提出方法的有效性。

【3】BasisFormer: Attention-based Time Series Forecasting with Learnable and Interpretable Basis

论文链接：https://arxiv.org/abs/2310.20496

代码链接：https://github.com/nzl5116190/Basisformer

一句话总结全文：提出了 BasisFormer，这是一种利用可学习和可解释基础的端到端时间序列预测架构。

研究内容：由于它们能够充当特征提取器或未来参考，因此基础已成为基于深度学习的现代时间序列预测模型不可或缺的一部分。为了有效，基础必须针对特定的时间序列数据集进行定制，并与该集中的每个时间序列表现出明显的相关性。然而，当前最先进的方法在同时满足这两个要求的能力方面受到限制。为了应对这一挑战，我们提出了 BasisFormer，这是一种利用可学习和可解释基础的端到端时间序列预测架构。该架构由三个组成部分组成：首先，我们通过自适应自监督学习获取基础，它将时间序列的历史部分和未来部分视为两种不同的视图，并采用对比学习。接下来，我们设计一个 Coef 模块，通过双向交叉注意力计算历史视图中时间序列和基数之间的相似性系数。最后，我们提出了一个预测模块，它根据相似系数选择并巩固未来视图中的基础，从而产生准确的未来预测。通过对六个数据集的大量实验，我们证明 BasisFormer 对于单变量和多变量预测任务分别比之前最先进的方法高出11.04% 和 15.78%

【4】BOneNet: Enhancing Time Series Forecasting Models under Concept Drift by Online Ensembling

论文链接：https://arxiv.org/abs/2309.12659

代码链接：https://github.com/yfzhang114/OneNet

一句话总结全文：提出相关模型。它动态更新和组合两个模型，一个专注于跨时间维度的依赖关系建模，另一个专注于跨变量依赖关系建模。

研究内容：时间序列预测模型在线更新旨在通过基于流数据高效更新预测模型来解决概念漂移问题。许多算法都是为在线时间序列预测而设计的，其中一些算法利用交叉变量依赖性，而另一些则假设变量之间的独立性。鉴于每个数据假设在在线时间序列建模中都有其自身的优点和缺点，我们提出\textbf{On}line \textbf{e}nsembling \textbf{Net}work (OneNet)。它动态更新和组合两个模型，一个专注于跨时间维度的依赖关系建模，另一个专注于跨变量依赖关系建模。我们的方法将基于强化学习的方法融入到传统的在线凸编程框架中，允许动态调整权重的两个模型的线性组合。OneNet 解决了经典在线学习方法的主要缺点，即适应概念漂移的速度往往较慢。实证结果表明，OneNet 将在线预测误差降低了超过50 %与最先进的（SOTA）方法相比。

【5】：Conformal PID Control for Time Series Prediction

论文链接：https://arxiv.org/abs/2307.16895

代码链接：https://github.com/aangelopoulos/conformal-time-series

一句话总结全文：研究时间序列预测的不确定性量化问题，目标是提供具有形式保证的易于使用的算法。

研究内容：我们研究时间序列预测的不确定性量化问题，目标是提供具有形式保证的易于使用的算法。我们提出的算法建立在共形预测和控制理论的思想之上，能够在在线环境中前瞻性地对共形分数进行建模，并适应由于季节性、趋势和一般分布变化而出现的系统误差。我们的理论既简化又加强了在线共形预测的现有分析。对美国全州范围内的 COVID-19 死亡人数进行提前 4 周预测的实验表明，与 CDC 官方通信中使用的集合预报器相比，其覆盖范围有所改善。我们还使用自回归、Theta、Prophet 和 Transformer 模型进行了预测电力需求、市场回报和温度的实验。我们提供可扩展的代码库，用于测试我们的方法以及集成新算法、数据集和预测规则。

【6】Time Series as Images: Vision Transformer for Irregularly Sampled Time Series

论文链接：https://arxiv.org/abs/2303.12799

代码链接：https://github.com/Leezekun/ViTST

一句话总结全文：引入了一种新颖的视角，将不规则采样的时间序列转换为线图图像，然后利用强大的预训练视觉变换器以与图像分类相同的方式进行时间序列分类。

研究内容：不规则采样的时间序列越来越普遍，特别是在医学领域。尽管已经开发了各种专门方法来处理这些不规则性，但有效地对其复杂的动态和明显的稀疏性进行建模仍然是一个挑战。本文引入了一种新颖的视角，将不规则采样的时间序列转换为线图图像，然后利用强大的预训练视觉变换器以与图像分类相同的方式进行时间序列分类。这种方法不仅大大简化了专门的算法设计，而且还具有作为时间序列建模通用框架的潜力。值得注意的是，尽管我们的方法很简单，但在几个流行的医疗保健和人类活动数据集上，我们的方法优于最先进的专用算法。特别是在测试过程中省略部分变量的严格的离开传感器设置中，我们的方法对不同程度的缺失观察表现出很强的鲁棒性，即使在一半的变量被屏蔽。

【7】ContiFormer: Continuous-Time Transformer for Irregular Time Series Modeling

论文链接：https://openreview.net/forum?id=YJDz4F2AZu

代码链接：https://github.com/microsoft/SeqML/tree/main/ContiFormer

关键词：不规则时间序列建模，Transformer，神经常微分方程

一句话总结全文：提出了 ContiFormer，它将普通 Transformer 的关系建模扩展到连续时间域，明确地将神经常微分方程的连续动态建模能力与 Transformer 的注意力机制结合起来。

研究内容：对不规则时间序列的连续时间动态进行建模对于解释连续发生的数据演变和相关性至关重要。包括循环神经网络或 Transformer 模型在内的传统方法通过强大的神经架构利用归纳偏差来捕获复杂的模式。然而，由于其离散特性，它们在推广到连续时间数据范式方面存在局限性。尽管神经常微分方程（神经常微分方程）及其变体在处理不规则时间序列方面显示出有希望的结果，但它们通常无法捕获这些序列中复杂的相关性。同时对输入数据点之间的关系进行建模并捕获连续时间系统的动态变化具有挑战性但要求很高。为了解决这个问题，我们提出了 ContiFormer，它将普通 Transformer 的关系建模扩展到连续时间域，明确地将神经常微分方程的连续动态建模能力与 Transformer 的注意力机制结合起来。我们从数学上描述了ContiFormer 的表达能力，并说明，通过函数假设的精心设计，许多专门用于不规则时间序列建模的Transformer 变体可以作为 ContiFormer 的特例。对合成数据集和真实数据集进行的广泛实验表明，ContiFormer 对不规则时间序列数据具有卓越的建模能力和预测性能。

【8】Predict, Refine, Synthesize: Self-Guiding Diffusion Models for Probabilistic Time Series Forecasting

论文链接：https://arxiv.org/abs/2307.11494

代码链接：https://github.com/amazon-science/unconditional-time-series-diffusion

一句话总结全文：提出了 TSDiff，一种无条件训练的时间序列扩散模型。

研究内容：扩散模型在各个领域的生成建模任务中取得了最先进的性能。先前关于时间序列扩散模型的工作主要集中于开发针对特定预测或插补任务的条件模型。在这项工作中，我们探索了任务无关的无条件扩散模型在多个时间序列应用中的潜力。我们提出了 TSDiff，一种无条件训练的时间序列扩散模型。我们提出的自引导机制能够在推理过程中为下游任务调节 TSDiff，而不需要辅助网络或改变训练程序。我们证明了我们的方法在三个不同时间序列任务上的有效性：预测、细化和合成数据生成。首先，我们证明 TSDiff 与几种特定于任务的条件预测方法（预测）相比具有竞争力。其次，我们利用学习到的 TSDiff 隐式概率密度来迭代地细化基本预测器的预测，从而减少反向扩散（细化）的计算开销。值得注意的是，模型的生成性能保持不变 - 使用 TSDiff 的合成样本进行训练的下游预测器优于使用其他最先进的生成时间序列模型的样本进行训练的预测器，有时甚至优于使用真实数据训练的模型（合成）。

【9】FOCAL: Contrastive Learning for Multimodal Time-SeriesSensing Signals in Factorized Orthogonal Latent Space

论文链接：https://arxiv.org/abs/2310.20071

代码链接：https://github.com/tomoyoshki/focal

一句话总结全文：提出了一种新颖的对比学习框架，称为 FOCAL，用于通过自监督训练从多模态时间序列传感信号中提取综合特征。

研究内容：本文提出了一种新颖的对比学习框架，称为 FOCAL，用于通过自监督训练从多模态时间序列传感信号中提取综合特征。现有的多模态对比框架主要依赖于感觉模态之间的共享信息，但没有明确考虑对于理解底层传感物理至关重要的排他模态信息。此外，时间序列的对比框架没有适当地处理时间信息局部性。FOCAL 通过做出以下贡献来解决这些挑战：首先，给定多模态时间序列，它将每种模态编码到由彼此正交的共享特征和私有特征组成的分解潜在空间中。共享空间通过模态匹配目标强调跨感官模态一致的特征模式。相反，私人空间通过变换不变的目标提取模态专有信息。其次，我们提出了模态特征的时间结构约束，使得时间相邻样本之间的平均距离不大于时间遥远样本的平均距离。对具有两个骨干编码器和两个分类器的四个多模态传感数据集进行了广泛的评估，以证明 FOCAL 的优越性。在不同比例的可用标签下，它在下游任务中始终优于最先进的基线，并具有明显的优势。

【10】Diversifying Spatial-Temporal Perception for Video Domain Generalization

论文链接：https://arxiv.org/abs/2310.17942

代码链接：https://github.com/KunyuLin/STDN/

一句话总结全文：贡献了一种名为时空多样化网络（STDN）的新颖模型，它提高了视频数据的空间和时间维度的多样性。

研究内容：视频域泛化旨在通过在源域中进行训练来学习未见过的目标域的可泛化视频分类模型。视频域泛化的一个关键挑战是在识别目标视频时避免严重依赖从源域提取的特定于域的线索。为此，我们建议感知视频中不同的时空线索，旨在发现除了特定领域线索之外的潜在领域不变线索。我们贡献了一种名为时空多样化网络（STDN）的新颖模型，它提高了视频数据的空间和时间维度的多样性。首先，我们的 STDN 提出通过空间分组来发现各个帧内各种类型的空间线索。然后，我们的 STDN 提出通过时空关系建模来显式地建模多个时空尺度的视频内容之间的时空依赖性。对三个不同类型的基准的广泛实验证明了我们方法的有效性和多功能性。

【11】Improving *day-ahead* Solar Irradiance Time Series Forecasting by Leveraging Spatio-Temporal Context

论文链接：https://openreview.net/forum?id=x5ZruOa4ax

关键词：时间序列预测，多模态学习，太阳辐照度，情境丰富学习

一句话总结全文：提出了一种深度学习架构，旨在利用卫星数据利用时空背景，为任何给定站点实现高精度的日前时间序列预测，特别强调预测全球水平辐照度（GHI），还提出了一种提取每个时间步预测的分布的方法，这可以作为预测附加的不确定性的非常有价值的度量。

研究内容：太阳能在通过大幅减少二氧化碳来缓解气候变化方面具有巨大潜力排放。尽管如此，太阳辐照度固有的可变性对将太阳能无缝集成到电网提出了重大挑战。虽然大多数先前的研究都集中于采用纯粹基于时间序列的方法进行太阳预报，但只有有限数量的研究考虑了云层覆盖或周围物理环境等因素。在本文中，我们提出了一种深度学习架构，旨在利用卫星数据利用时空背景，为任何给定站点实现高精度的日前时间序列预测，特别强调预测全球水平辐照度（GHI） 。我们还提出了一种提取每个时间步预测的分布的方法，这可以作为预测附加的不确定性的非常有价值的度量。在评估模型时，我们提出了一种测试方案，将特别困难的示例与简单的示例分开，以便捕获关键情况下的模型性能，在本研究中，这些情况是遭受不同多云条件的日子。此外，我们提出了一个新的多模式数据集，收集来自多个地理位置不同的太阳站的大区域和时间序列的太阳辐照度和其他相关物理变量的卫星图像。我们的方法在太阳辐照度预测方面表现出强大的性能，包括在未观测的太阳能站进行的零样本泛化测试，并在促进太阳能发电有效并入电网方面具有广阔的前景。

【12】PoET: A generative model of protein families assequences-of-sequences

论文链接：https://arxiv.org/abs/2306.06156

一句话总结全文：提出了蛋白质进化变压器（PoET），这是一种整个蛋白质家族的自回归生成模型，它学习生成一组相关蛋白质作为跨越数千万个天然蛋白质序列簇的序列序列。

研究内容：生成蛋白质语言模型是设计具有所需功能的新蛋白质的自然方法。 然而，当前的模型要么难以直接生成来自特定感兴趣家族的蛋白质，要么必须接受来自特定感兴趣家族的大型多重序列比对（MSA）的训练，使得它们无法从跨家族的迁移学习中受益 。 为了解决这个问题，我们提出了蛋白质进化变压器（PoET），这是一种整个蛋白质家族的自回归生成模型，它学习生成一组相关蛋白质作为跨越数千万个天然蛋白质序列簇的序列序列。 PoET 可以用作检索增强语言模型，以生成和评分以任何感兴趣的蛋白质家族为条件的任意修改，并且可以从短上下文长度进行推断，即使对于小家族也能很好地概括。 这是通过独特的 Transformer 层实现的； 我们在序列内按顺序对标记进行建模，同时保持序列之间的顺序不变，从而允许 PoET 扩展到超出训练期间使用的上下文长度。 在深度突变扫描数据集的大量实验中，我们表明，对于所有 MSA 深度的蛋白质的变异功能预测，PoET 优于现有的蛋白质语言模型和进化序列模型。 我们还证明了 PoET 可控生成新蛋白质序列的能力。

【13】Frequency-domain MLPs are More Effective Learners in Time SeriesForecasting

论文链接：https://arxiv.org/abs/2311.06184

一句话总结全文：提出了 FreTS，这是一种基于频域 MLP 的简单而有效的架构，用于时间序列预测。

研究内容：时间序列预测在金融、交通、能源、医疗等不同行业中发挥着关键作用。虽然现有文献已经设计了许多基于 RNN、GNN 或Transformer 的复杂架构，但提出了另一种基于多层感知器 (MLP) 的方法，其结构简单、复杂度低且{性能优越}。然而，大多数基于MLP的预测方法都存在逐点映射和信息瓶颈，这在很大程度上阻碍了预测性能。为了克服这个问题，我们探索了在频域中应用 MLP 进行时间序列预测的新方向。我们研究了频域 MLP 的学习模式，发现了它们有利于预测的两个固有特征：（i）全局视图：频谱使 MLP 拥有完整的信号视图并更容易学习全局依赖性，以及（ii）能量压缩：频率域 MLP 集中于具有紧凑信号能量的频率分量的较小关键部分。然后，我们提出了 FreTS，这是一种基于频域 MLP 的简单而有效的架构，用于时间序列预测。FreTS主要涉及两个阶段，（i）域转换，将时域信号转换为频域复数；(ii) 频率学习，执行我们重新设计的 MLP，以学习频率分量的实部和虚部。上述在系列间和系列内尺度上运行的阶段进一步有助于通道方面和时间方面的依赖性学习。对 13 个现实世界基准（包括 7 个短期预测基准和 6 个长期预测基准）进行的广泛实验证明了我们相对于最先进方法的一贯优势。

【14】Conformal Prediction for Time Series with Modern Hopfield Networks

论文链接：https://arxiv.org/abs/2303.12783

一句话总结全文：提出了 HopCPT，一种新颖的时间序列保形预测方法，它不仅可以处理时间结构，而且可以利用它们

研究内容：为了量化不确定性，共形预测方法越来越受到人们的关注，并已成功应用于各个领域。然而，它们很难应用于时间序列，因为时间序列的自相关结构违反了共形预测所需的基本假设。我们提出了 HopCPT，一种新颖的时间序列保形预测方法，它不仅可以处理时间结构，而且可以利用它们。我们表明，我们的方法在理论上对于存在时间依赖性的时间序列是合理的。在实验中，我们证明我们的新方法在来自四个不同领域的多个真实时间序列数据集上优于最先进的保形预测方法。

【15】Adaptive Normalization for Non-stationary Time SeriesForecasting: A Temporal Slice Perspective

论文链接：https://openreview.net/forum?id=5BqDSw8r5j

关键词：时间序列预测，深度学习，归一化

一句话总结全文：提出了一种新颖的切片级自适应归一化，称为\textbf{SAN}，这是一种通过更灵活的归一化和反归一化来增强时间序列预测的新颖方案。

研究内容：深度学习模型由于其捕获序列依赖性的强大能力而逐渐提高了时间序列预测的性能。然而，由于现实世界数据存在非平稳性，即数据分布随着时间的推移而快速变化，做出准确的预测仍然具有挑战性。为了缓解这种困境，人们做出了一些努力，通过标准化操作来减少非平稳性。然而，这些方法通常忽略了输入序列和水平序列之间的分布差异，并假设同一实例内的所有时间点具有相同的统计属性，这过于理想，可能导致相对改进不理想。为此，我们提出了一种新颖的切片级自适应归一化，称为\textbf{SAN}，这是一种通过更灵活的归一化和反归一化来增强时间序列预测的新颖方案。SAN 包括两个关键设计。首先，SAN试图消除以局部时间片（即子序列）为单位而不是全局实例的时间序列的非平稳性。其次，SAN采用轻微的网络模块来独立建模原始时间序列统计特性的演变趋势。因此，SAN 可以作为通用的模型无关插件，更好地减轻时间序列数据非平稳特性的影响。我们在四种广泛使用的预测模型上实例化了所提出的 SAN，并在基准数据集上测试它们的预测结果以评估其有效性。此外，我们还报告了一些富有洞察力的发现，以深入分析和理解我们提出的 SAN。我们公开我们的代码。

【16】MEMTO: Memory-guided Transformer for Multivariate Time Series Anomaly Detection

论文链接：https://arxiv.org/abs/2312.02530

一句话总结全文：提出了 MEMTO，一种使用基于重建方法的记忆引导 Transformer。

研究内容：由于复杂的时间依赖性和变量间的相关性，检测现实世界的多元时间序列数据中的异常具有挑战性。最近，基于重建的深度模型已被广泛用于解决该问题。然而，这些方法仍然存在过度泛化的问题，并且无法提供一致的高性能。为了解决这个问题，我们提出了 MEMTO，一种使用基于重建方法的记忆引导 Transformer。它被设计成包含一种新颖的内存模块，该模块可以学习每个内存项应响应输入数据而更新的程度。为了稳定训练过程，我们使用两阶段训练范例，其中涉及使用 K 均值聚类来初始化内存项。此外，我们引入了一种基于偏差的二维检测标准，该标准考虑输入空间和潜在空间来计算异常分数。我们在来自不同领域的五个真实世界数据集上评估了我们提出的方法，它的平均异常检测 F1 分数为 95.74%，显着优于以前的最先进方法。我们还进行了广泛的实验，以凭经验验证我们提出的模型关键组件的有效性。

【17】CrossGNN: Confronting Noisy MultivariateTime SeriesVia Cross Interaction Refinement

论文链接：https://openreview.net/forum?id=xOzlW2vUYc

关键词：时间序列预测

一句话总结全文：提出了CrossGNN，一种线性复杂性GNN模型，用于细化MTS的跨尺度和跨变量交互。

研究内容：近年来，多元时间序列(MTS)预测技术得到了快速发展并在各个领域得到广泛应用。基于Transformer和基于GNN的方法由于其对时间和变量交互建模的强大能力而显示出巨大的潜力。然而，通过对现实世界数据进行全面分析，我们发现现有方法并不能很好地处理变量之间的时间波动和异质性。为了解决上述问题，我们提出了CrossGNN，一种线性复杂性GNN模型，用于细化MTS的跨尺度和跨变量交互。为了处理时间维度上的意外噪声，利用自适应多尺度标识符(AMSI)来构建降噪的多尺度时间序列。提出了Cross-Scale GNN来提取趋势更清晰、噪声更弱的尺度。跨变量 GNN的提出是为了利用不同变量之间的同质性和异质性。通过同时关注具有较高显着性分数的边缘并限制具有较低分数的边缘，时间和空间复杂度(即，0(L)CrossGNN的)可以与输入序列长度呈线性关系L。在8个真实MTS数据集上的广泛实验结果证明了CrossGNN与最先进方法相比的有效性。

【18】Scale-teaching: Robust Multi-scale Training for Time Series Classifiction with Noisy Labels

论文链接：https://openreview.net/forum?id=9D0fELXbrg

关键词：时间序列分类，深度神经网络，噪声标签

一句话总结全文：提出了一种称为“尺度教学”的深度学习范式，用于带有噪声标签的时间序列分类。

研究内容：深度神经网络(DNN) 受到批评，因为它们很容易过度拟合噪声（不正确）的标签。为了提高 DNN 的鲁棒性，现有的图像数据方法将训练损失较小的样本视为正确标记的数据（小损失准则）。然而，时间序列的判别模式很容易在记录过程中被外部噪声（即频率扰动）扭曲。这导致一些不满足小损失准则的时间序列样本的训练损失。因此，本文提出了一种称为Scale-teaching的深度学习范式来应对时间序列噪声标签。具体来说，我们设计了一种从细到粗的跨尺度融合机制，通过利用不同尺度的时间序列同时训练多个 DNN 来学习判别模式。同时，通过使用不同尺度的互补信息以交叉教学的方式训练每个网络，以选择小损失样本作为干净标签。对于未选择的大损失样本，我们通过标签传播引入多尺度嵌入图学习，以使用选定的干净样本来纠正其标签。对多个基准时间序列数据集的实验证明了所提出的量表教学范式在有效性和鲁棒性方面优于最先进的方法。

NeurIPS 2023丨时间序列论文汇总（附投稿群）【下】