ICML 2023丨时间序列预测（Time Series Prediction）论文汇总

【1】Neural Continuous-Discrete State Space Models for Irregularly-Sampled Time Series

论文链接：https://arxiv.org/abs/2301.11308

代码链接：https://github.com/clear-nus/NCDSSM

研究方向：时间序列建模

一句话总结全文：提出了神经连续离散状态空间模型（NCDSSM），用于通过离散时间观测对时间序列进行连续时间建模。

研究内容：学习现实世界动态现象（例如气候、生物）的准确预测模型仍然是一项具有挑战性的任务。一个关键问题是，自然过程和人工过程生成的数据通常包含不规则采样和/或包含缺失观测值的时间序列。在这项工作中，我们提出了神经连续离散状态空间模型（NCDSSM），用于通过离散时间观测对时间序列进行连续时间建模。NCDSSM 使用辅助变量来将识别与动态分离，因此仅需要对辅助变量进行摊销推理。利用连续离散滤波理论的技术，我们演示了如何对动态执行准确的贝叶斯推理。我们提出了三种灵活的潜在动态参数化和一个有效的训练目标，可以在推理过程中边缘化动态状态。跨不同领域的多个基准数据集的实证结果表明，与现有模型相比，NCDSSM 的插补和预测性能有所提高。

【2】Feature Programming for Multivariate Time Series Prediction

论文链接：https://arxiv.org/abs/2306.06252

研究方向：多元时间序列预测的特征编程

一句话总结全文：引入了用于时间序列建模的可编程特征工程的概念，并提出了特征编程框架。

研究内容：我们引入了用于时间序列建模的可编程特征工程的概念，并提出了特征编程框架。该框架为嘈杂的多元时间序列生成大量预测特征，同时允许用户以最小的努力合并他们的归纳偏差。我们框架的关键动机是将任何多元时间序列视为细粒度轨迹增量的累积和，每个增量都由新颖的自旋气体动力学 Ising 模型控制。这种细粒度的视角促进了一组简约算子的开发，这些算子以抽象的方式总结多元时间序列，作为大规模自动化特征工程的基础。在数值上，我们验证了我们的方法在几个合成的和现实世界的噪声时间序列数据集上的有效性。

【3】Learning Deep Time-index Models for Time Series Forecasting

论文链接：https://proceedings.mlr.press/v202/woo23b.html

代码链接：https://github.com/salesforce/DeepTime

研究方向：时间序列预测

一句话总结全文：提出了 DeepTime，这是一种元优化框架，用于学习深度时间索引模型，克服了一些限制，从而产生了高效且准确的预测模型。

研究内容：深度学习已被积极应用于时间序列预测，从而催生了大量属于历史价值模型类别的新方法。然而，尽管时间指数模型具有吸引人的特性，例如能够对基础时间序列动态的连续性进行建模，但人们却很少关注它们。事实上，虽然朴素的深度时间指数模型比经典时间指数模型的手动预定义函数表示更具表现力，但它们不足以进行预测，由于缺乏归纳偏差，无法泛化到看不见的时间步长。在本文中，我们提出了 DeepTime，这是一种元优化框架，用于学习深度时间索引模型，克服了这些限制，从而产生了高效且准确的预测模型。在长序列时间序列预测设置中对现实世界数据集进行的大量实验表明，我们的方法通过最先进的方法取得了有竞争力的结果，并且非常高效。

【4】Learning Perturbations to Explain Time Series Predictions

论文链接：https://arxiv.org/abs/2305.18840

研究方向：可解释时间序列预测

一句话总结全文：不仅是通过学习掩模，还通过学习相关的扰动来解释预测。

研究内容：基于多元时间序列数据解释预测不仅需要处理多个特征，而且还需要处理时间依赖性。不仅发生了什么很重要，而且何时发生也很重要，并且根据时间信息，相同的特征可能会对预测产生非常不同的影响。之前的工作使用基于扰动的显着性方法来解决这个问题，使用可训练的掩模扰乱输入，以发现哪些特征在哪些时间驱动预测。然而，这些方法引入了固定的扰动，其灵感来自于静态数据上的类似方法，而似乎没有动力在时态数据上这样做。在这项工作中，我们的目标不仅是通过学习掩模，还通过学习相关的扰动来解释预测。我们的经验表明，学习这些扰动可以显着提高对时间序列数据的解释的质量。

【5】Theoretical Guarantees of Learning Ensembling Strategies with Applications to Time Series Forecasting

论文链接：https://proceedings.mlr.press/v202/hasson23a.html

研究方向：时间序列预测

一句话总结全文：进一步在概率预测的背景下提出了一系列特定的堆叠概括，每个概括对于允许集合权重在项目、预测范围内的时间戳和分位数之间变化的程度具有不同的敏感性。

研究内容：集成是机器学习 (ML) 中最流行的工具之一，因为它可以有效地最小化方差，从而提高泛化能力。大多数黑盒基学习器的集成方法都属于“堆叠泛化”的范畴，即训练将基学习器的推论作为输入的 ML 算法。虽然堆叠已在实践中广泛应用，但其理论特性却知之甚少。在本文中，我们证明了一个新颖的结果，表明基于交叉验证性能从（有限或有限维）堆叠泛化系列中选择最佳堆叠泛化的性能并不比预言机最佳性能“差很多”。我们的结果加强并显着扩展了 Van der Laan 等人的结果。 （2007）。受理论分析的启发，我们进一步在概率预测的背景下提出了一系列特定的堆叠概括，每个概括对于允许集合权重在项目、预测范围内的时间戳和分位数之间变化的程度具有不同的敏感性。实验结果证明了所提出方法的性能增益。

【6】Non-autoregressive Conditional Diffusion Models for Time Series Prediction

论文链接：https://arxiv.org/abs/2306.05043

研究方向：时间序列预测

一句话总结全文：提出了 TimeDiff，这是一种非自回归扩散模型，通过引入两种新颖的条件机制（未来混合和自回归初始化）来实现高质量的时间序列预测。

研究内容：最近，去噪扩散模型在图像、音频和文本的生成方面取得了重大突破。然而，如何将其强大的建模能力应用于时间序列建模仍然是一个悬而未决的问题。在本文中，我们提出了 TimeDiff，这是一种非自回归扩散模型，通过引入两种新颖的条件机制（未来混合和自回归初始化）来实现高质量的时间序列预测。与教师强制类似，未来混合允许对未来的部分真实预测进行调节，而自回归初始化有助于更好地使用基本时间序列模式（例如短期趋势）初始化模型。在九个真实世界的数据集上进行了广泛的实验。结果表明，TimeDiff 始终优于现有的时间序列扩散模型，并且在各种现有的强基线（包括 Transformer 和 FiLM）中也实现了最佳的整体性能。

【7】Sequential Predictive Conformal Inference for Time Serie

论文链接：https://proceedings.mlr.press/v202/xu23r

研究方向：时间序列预测

一句话总结全文：提出了一种新的用于序列数据（例如时间序列）的无分布共形预测算法，称为序列预测共形推理（SPCI）。

研究内容：我们提出了一种新的用于序列数据（例如时间序列）的无分布共形预测算法，称为序列预测共形推理（SPCI）。我们特别考虑了时间序列数据不可交换的性质，因此许多现有的共形预测算法不适用。主要思想是利用不合格分数（例如，预测残差）之间的时间依赖性，自适应地重新估计它们的条件分位数。更准确地说，我们将共形预测区间问题转化为在给定用户指定的点预测算法的情况下预测未来残差的分位数。理论上，我们通过在分位数回归中扩展一致性分析来建立渐近有效条件覆盖。通过模拟和真实数据实验，我们证明了在所需的经验覆盖范围内，与其他现有方法相比，SPCI 的区间宽度显着减小。

【8】Self-Interpretable Time Series Prediction with Counterfactual Explanations

论文链接：https://arxiv.org/abs/2306.06024

研究方向：时间序列预测

一句话总结全文：形式化了时间序列反事实解释问题，建立了相关的评估协议，并提出了一种具有时间序列溯因、行动和预测的反事实推理能力的变分贝叶斯深度学习模型。

研究内容：可解释的时间序列预测对于医疗保健和自动驾驶等安全关键领域至关重要。大多数现有方法侧重于通过为时间序列片段分配重要分数来解释预测。在本文中，我们采取了一条不同且更具挑战性的路线，旨在开发一种可自我解释的模型，称为反事实时间序列（CountTS），它为时间序列预测生成反事实且可操作的解释。具体来说，我们形式化了时间序列反事实解释问题，建立了相关的评估协议，并提出了一种具有时间序列溯因、行动和预测的反事实推理能力的变分贝叶斯深度学习模型。与最先进的基线相比，我们的自解释模型可以生成更好的反事实解释，同时保持可比较的预测准确性。

 ICML 2023丨时间序列论文汇总（含投稿群）【下】