自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(108)
  • 收藏
  • 关注

翻译 Breaking the Time-Frequency Granularity Discrepancy in Time-Series Anomaly Detection

鉴于时间序列异常检测(TSAD)取得的显着进步,最近的重点已经放在利用频域以及时域,以解决精确检测模式异常的困难。然而,就异常分数而言,频域的窗口粒度与时域的数据点粒度本质上不同。由于这种差异,频域中的异常信息尚未被充分利用,以充分发挥其TSAD的潜力。在本文中,我们提出了一个TSAD框架,双TF,同时使用时域和频域,同时打破了时间-频率粒度的差异。为此,我们的框架采用嵌套滑动窗口,外部和内部窗口分别负责时域和频域,并对齐两个域的异常分数。由于对齐分数的高分辨率,可以更精确地识别模式异常的边界。

2024-07-21 17:11:04 6

翻译 SAMformer: Unlocking the Potential of Transformers in Time Series Forecasting with Sharpness-Aware M

基于 Transformer 的架构在自然语言处理和计算机视觉方面取得了突破性的性能,但在多元长期预测方面仍然不如更简单的线性基线。为了更好地理解这种现象,我们首先研究一个玩具线性预测问题,我们表明变压器尽管具有很高的表达能力,但无法收敛到其真正的解决方案。我们进一步确定变压器的注意力是造成这种低泛化能力的原因。基于这一见解,我们提出了一种浅层轻量级变压器模型,当通过锐度感知优化进行优化时,该模型成功地避免了不良的局部最小值。我们凭经验证明这一结果可以扩展到所有常用的现实世界多元时间序列数据集。

2024-07-15 15:00:56 18

翻译 Fredformer: Frequency Debiased Transformer for Time Series Forecasting

Transformer 模型在时间序列预测方面表现出了领先的性能。然而,在一些复杂的场景中,它往往会学习数据中的低频特征而忽略高频特征,表现出频率偏差。这种偏差导致模型无法准确捕获重要的高频数据特征。在本文中,我们进行了实证分析来理解这种偏差,并发现频率偏差是由于模型不成比例地关注具有较高能量的频率特征造成的。根据我们的分析,我们制定了这种偏差并提出了 Fredformer,这是一个基于 Transformer 的框架,旨在通过跨不同频段平等地学习特征来减轻频率偏差。

2024-07-14 14:49:22 71

翻译 Dynamic Multi-Network Mining of Tensor Time Series

时间序列的子序列聚类是数据挖掘中的一项重要任务,而解释聚类结果也是至关重要的,因为我们通常不具有数据的先验知识。因此,给定一个包含多个模式(包括时间戳)的张量时间序列的大集合,我们如何实现张量时间序列的子序列聚类并提供可解释的见解?本文提出了一种新的动态多网络挖掘方法–动态多网络挖掘(Dynamic Multi-network Mining,DMM),该方法将一个张量时间序列转换为一组不同长度(即,簇),其特征在于依赖网络受1-范数约束。我们的方法具有以下属性。

2024-07-18 10:48:16 9

翻译 Irregular Multivariate Time Series Forecasting: A Transformable Patching Graph Neural Networks Appro

不规则多元时间序列 (IMTS) 的预测对于医疗保健、生物力学、气候科学和天文学等众多领域至关重要。尽管现有研究通过常微分方程解决时间序列中的不规则性,但对异步 IMTS 之间的相关性进行建模的挑战仍未得到充分探索。为了弥补这一差距,本研究提出了可变换补丁图神经网络(T-PATCHGNN),它将每个单变量不规则时间序列转换为一系列可变换补丁,其中包含具有统一时间分辨率的不同数量的观测值。它无缝地促进本地语义捕获和时间序列间相关建模,同时避免对齐的 IMTS 中​​的序列长度爆炸。

2024-07-17 15:42:21 16

翻译 Learning Optimal Projection for Forecast Reconciliation of Hierarchical Time Series

分层时间序列预测不仅需要预测准确性,还需要一致性,即预测在整个层次结构中适当地相加。最近的文献表明,通过投影进行协调优于先前的方法,例如自上而下或自下而上的方法。与预先指定投影矩阵(例如正交)的现有工作不同,我们研究从数据中学习最佳倾斜投影以对分层时间序列进行一致预测的问题。除了保持无偏性的特性之外,倾斜投影还隐式地考虑了层次结构,并为各个时间序列分配了不同的权重,与平等对待基本预测误差的正交投影相比,具有显着的适应性。我们研究两大类投影,即欧几里得投影和一般斜投影。

2024-07-15 20:26:49 12

翻译 Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning

在这项研究中,我们提出了 aLLM4TS,这是一种创新框架,适用于时间序列表示学习的大型语言模型 (LLM)。我们方法的核心是,我们将时间序列预测重新视为一种自我监督的多块预测任务,与传统的对比学习或掩模和重建方法相比,它可以更有效地捕获块表示中的时间动态。我们的策略包括两个阶段的培训:(i)。对各种时间序列数据集进行因果连续预训练阶段,锚定于下一个补丁预测,有效地将 LLM 功能与复杂的时间序列数据同步;(二). 在目标时间序列上下文中对多补丁预测进行微调。

2024-07-15 16:39:05 21

翻译 GAFORMER: ENHANCING TIMESERIES TRANSFORM- ERS THROUGH GROUP-AWARE EMBEDDINGS

分析多元时间序列在许多领域中至关重要,但由于复杂的通道间关系和非平稳动态,在此类数据集中学习稳健且可概括的表示仍然具有挑战性。在本文中,我们介绍了一种学习数据自适应位置嵌入的新方法,将学习的空间和时间结构合并到变压器架构中。我们的框架引入了组令牌并构建了一个特定于实例的组嵌入(GE)层,该层将输入令牌分配给选定数量的学习组令牌,从而将结构信息合并到学习过程中。在此基础上,我们提出了一种新颖的架构,即组感知变压器(GAFormer),它集成了空间和时间组嵌入,以在各种时间序列分类和回归任务上实现最先进的性能。

2024-07-12 15:26:34 38

翻译 HDMixer: Hierarchical Dependency with Extendable Patch for Multivariate Time Series Forecasting

多元时间序列(MTS)预测已广泛应用于各种场景。最近,一些方法采用修补来增强局部语义并提高模型性能。然而,长度固定的补丁很容易丢失时间边界信息,例如完整的峰值和周期。此外,现有方法主要侧重于对补丁之间的长期依赖性进行建模,而很少关注其他维度(例如补丁内的短期依赖性以及跨变量补丁之间的复杂交互)。为了应对这些挑战,我们提出了一种纯基于 MLP 的 HDMixer,旨在获取具有更丰富语义信息的补丁并有效地建模分层交互。

2024-07-12 10:52:25 46

翻译 PERIODICITY DECOUPLING FRAMEWORK FOR LONG- TERM SERIES FORECASTING

基于卷积神经网络 (CNN) 和 Transformer 的方法最近在时间序列预测方面取得了重大进展,它们擅长对局部时间变化进行建模或捕获长期依赖性。然而,现实世界的时间序列通常包含复杂的时间模式,这使得主要关注直接从一维时间序列进行时间变化建模的现有方法面临挑战。基于时间序列的内在周期性,我们提出了一种新颖的周期性解耦框架(PDF)来捕获解耦序列的二维时间变化以进行长期序列预测。我们的PDF主要由三个部分组成:多周期解耦块(MDB)、对偶变化建模块(DVMB)和变化聚合块(VAB)。

2024-07-11 20:03:35 46

翻译 Graph-Aware Contrasting for Multivariate Time-Series Classification

对比学习作为一种自我监督学习范式,在多元时间序列(MTS)分类中变得流行。它确保未标记样本的不同视图之间的一致性,然后学习这些样本的有效表示。现有的对比学习方法主要侧重于通过时间增强和对比技术实现时间一致性,旨在保留 MTS 数据的时间模式免受扰动。然而,他们忽视了空间一致性,这需要单个传感器及其相关性的稳定性。由于 MTS 数据通常源自多个传感器,因此确保空间一致性对于 MTS 数据对比学习的整体性能至关重要。因此,我们提出图感知对比来实现 MTS 数据的空间一致性。

2024-07-11 16:10:11 13

翻译 Unsupervised Time-Series Representation Learning with Iterative Bilinear Temporal-Spectral Fusion

无监督/自监督时间序列表示学习由于其复杂的动态和稀疏的注释而成为一个具有挑战性的问题。现有的工作主要采用对比学习的框架和基于时间的增强技术来采样正负样本进行对比训练。然而,他们大多使用从时间切片衍生的段级增强,这可能会由于全局上下文的丢失而带来采样偏差和漏报的错误优化。此外,他们都没有注意将光谱信息纳入特征表示中。在本文中,我们提出了一个统一的框架,即双线性时谱融合(BTSF)。具体来说,我们首先利用实例级增强,在整个时间序列上进行简单的 dropout,以最大限度地捕获长期依赖关系。

2024-07-09 16:11:29 19

翻译 WFTNET: EXPLOITING GLOBAL AND LOCAL PERIODICITY IN LONG-TERM TIME SERIES FORECASTING

最近基于 CNN 和 Transformer 的模型尝试利用频率和周期性信息进行长期时间序列预测。然而,大多数现有工作都是基于傅里叶变换,无法捕获细粒度和局部频率结构。在本文中,我们提出了一种用于长期时间序列预测的小波傅立叶变换网络(WFTNet)。WFTNet 利用傅里叶变换和小波变换从信号中提取全面的时频信息,其中傅里叶变换捕获全局周期性模式,而小波变换捕获局部周期性模式。此外,我们引入了周期加权系数(PWC)来自适应平衡全局和局部频率模式的重要性。

2024-07-09 13:12:50 27

翻译 TACTiS: Transformer-Attentional Copulas for Time Series

时变量的估计是医疗保健和金融等领域决策的基本组成部分。然而,此类估计的实际效用受到它们量化预测不确定性的准确程度的限制。在这项工作中,我们解决了估计高维多元时间序列的联合预测分布的问题。我们提出了一种基于 Transformer 架构的通用方法,该方法使用基于注意力的解码器来估计联合分布,该解码器可证明学习模仿非参数联结函数的属性。由此产生的模型具有几个理想的特性:它可以扩展到数百个时间序列,支持预测和插值,可以处理未对齐和非均匀采样的数据,并且可以在训练期间无缝适应丢失的数据。

2024-07-08 10:46:24 33

翻译 When Model Meets New Normals: Test-Time Adaptation for Unsupervised Time-Series Anomaly Detection

时间序列异常检测通过从观察序列中学习正态性来处理检测异常时间步长的问题。然而,正态性的概念随着时间的推移而演变,导致了“新正态性问题”,其中正态性的分布可能由于训练数据和测试数据之间的分布变化而改变。本文强调了无监督时间序列异常检测研究中新常态问题的普遍存在。为了解决这个问题,我们提出了一种基于趋势估计的简单而有效的测试时间适应策略,以及一种在推理过程中学习新常态的自监督方法。对现实世界基准的大量实验表明,与基线相比,将所提出的策略纳入异常检测器可以持续提高模型的性能,从而提高分布变化的鲁棒性。

2024-07-07 15:55:50 28

翻译 CUTS+: High-dimensional Causal Discovery from Irregular Time-series

时间序列中的因果发现是机器学习社区的一个基本问题,可以在复杂场景中进行因果推理和决策。最近,研究人员通过将神经网络与格兰杰因果关系相结合,成功地发现了因果关系,但由于高度冗余的网络设计和巨大的因果图,当遇到高维数据时,其性能会大幅下降。此外,观察中缺失的条目进一步阻碍了因果结构学习。为了克服这些限制,我们提出了 CUTS+,它建立在基于格兰杰因果关系的因果发现方法 CUTS 的基础上,并通过引入一种称为粗到细发现(C2FD)的技术并利用基于消息传递的图神经网络来提高可扩展性 网络(MPGNN)。

2024-07-07 15:30:50 30

翻译 SimPSI: A Simple Strategy to Preserve Spectral Information in Time Series Data Augmentation

数据增强是训练神经网络以克服数据大小限制的关键组成部分,并且已经针对时间序列研究了多种技术。尽管这些技术在某些任务中有效,但它们尚未推广到时间序列基准。我们发现当前的数据增强技术破坏了频域内包含的核心信息。为了解决这个问题,我们提出了一种在时间序列数据增强中保留光谱信息(SimPSI)的简单策略。SimPSI 通过混合由保存图加权的原始输入频谱和增强输入频谱来保存频谱信息,该保存图表示每个频率的重要性得分。具体来说,我们的实验贡献是构建三个不同的保存图:幅度谱、显着性图和频谱保存图。

2024-07-07 13:18:06 15

翻译 U-Mixer: An Unet-Mixer Architecture with Stationarity Correction for Time Series Forecasting

时间序列预测是各个领域的一项关键任务。由于趋势、季节性或不规则波动等因素的影响,时间序列常常表现出非平稳性。它阻碍了深层特征的稳定传播,破坏了特征分布,并使学习数据分布变化变得复杂。因此,许多现有模型难以捕捉潜在模式,导致预测性能下降。在这项研究中,我们使用我们提出的名为 U-Mixer 的框架来应对时间序列预测中非平稳性的挑战。通过结合 Unet 和 Mixer,U-Mixer 有效地分别捕获不同块和通道之间的局部时间依赖性,以避免通道之间分布变化的影响,并合并低级和高级特征以获得全面的数据表示。

2024-07-02 11:04:55 54

翻译 Revitalizing Multivariate Time Series Forecasting: Learnable Decomposition with Inter-Series Depende

预测多变量时间序列至关重要,需要对复杂模式进行精确建模,包括序列间依赖性和序列内变化。每个时间序列中独特的趋势特征都带来了挑战,依赖于基本移动平均核的现有方法可能难以应对现实世界数据中的非线性结构和复杂趋势。鉴于此,我们引入了一种可学习的分解策略来更合理地捕获动态趋势信息。此外,我们提出了一个双重注意力模块,用于同时捕获序列间依赖性和序列内变化,以实现更好的时间序列预测,该模块是通过通道自注意力和自回归自注意力来实现的。

2024-07-01 15:54:28 33

翻译 TSLANet: Rethinking Transformers for Time Series Representation Learning

时间序列数据以其内在的长期和短期依赖性为特征,对分析应用程序提出了独特的挑战。虽然基于 Transformer 的模型擅长捕获远程依赖性,但它们在噪声敏感性、计算效率以及较小数据集的过度拟合方面面临限制。为此,我们引入了一种新颖的时间序列轻量级自适应网络(TSLANet),作为各种时间序列任务的通用卷积模型。具体来说,我们提出了一个自适应谱块,利用傅里叶分析来增强特征表示并捕获长期和短期交互,同时通过自适应阈值减轻噪声。

2024-07-01 14:34:00 76

翻译 RETHINKING CHANNEL DEPENDENCE FOR MULTI- VARIATE TIME SERIES FORECASTING: LEARNING FROM LEADING INDI

最近,与通道无关的方法在多元时间序列(MTS)预测中取得了最先进的性能。尽管降低了过度拟合的风险,但这些方法错过了利用通道依赖性进行准确预测的潜在机会。我们认为变量之间存在局部固定的超前滞后关系,即一些滞后变量可能在短时间内跟随领先指标。利用这种通道依赖性是有益的,因为领先指标提供了可用于降低滞后变量的预测难度的预先信息。在本文中,我们提出了一种名为 LIFT 的新方法,该方法首先有效地估计领先指标及其在每个时间步的领先步骤,然后明智地允许滞后变量利用领先指标的先进信息。

2024-07-01 09:52:14 36

翻译 TACTIS-2: BETTER, FASTER, SIMPLER ATTENTIONAL COPULAS FOR MULTIVARIATE TIME SERIES

我们引入了一种用于多元概率时间序列预测的新模型,旨在灵活地解决一系列任务,包括预测、插值及其组合。基于 copula 理论,我们为最近引入的基于变压器的注意力 copula(TACTiS)提出了一个简化的目标,其中分布参数的数量现在与变量的数量成线性而不是阶乘。新的目标需要引入培训课程,这与对原始架构的必要改变密切相关。我们表明,所得模型具有明显更好的训练动态,并在不同的现实世界预测任务中实现了最先进的性能,同时保持了先前工作的灵活性,例如无缝处理未对齐和不均匀采样的时间序列。

2024-06-29 10:27:18 41

翻译 Learning Multi-Pattern Normalities in the Frequency Domain for Efficient Time Series Anomaly Detecti

异常检测显着增强了云系统的稳健性。虽然基于神经网络的方法最近表现出了强大的优势,但它们在云环境中遇到了实际挑战:为每个服务维护唯一模型的不切实际与通过统一模型处理各种正常模式的能力有限之间的矛盾,以及 作为实时处理大流量和短期异常检测灵敏度的问题。因此,我们提出了 MACE,一种适应多正态模式的频域有效异常检测方法,用于时间序列异常检测。

2024-06-28 09:23:30 22

翻译 Unraveling the ‘Anomaly’ in Time Series Anomaly Detection: A Self-supervised Tri-domain Solution

时间序列异常检测(TSAD)中持续存在的挑战,包括异常标签的稀缺性以及异常长度和形状的可变性,导致需要一个更强大、更有效的解决方案。由于有限的异常标签阻碍了传统的监督模型在异常检测中的应用,各种最先进的深度学习技术(如自监督学习)被引入来解决这个问题。然而,它们在处理异常长度和形状的变化时遇到困难,限制了它们对各种异常的适应性。此外,许多基准数据集存在显式异常的问题,即使是随机函数也可以检测到。一个被称为点调整(PA)的病态评价度量加剧了这个问题,它会导致模型性能膨胀。

2024-06-27 16:36:50 24

翻译 Beyond Trend and Periodicity: Guiding Time Series Forecasting with Textual Cues

本文介绍了一种新的文本引导时间序列预测(TGTSF)任务。通过集成文本线索(如频道描述和动态新闻),TGTSF解决了纯粹依赖历史数据的传统方法的关键限制。为了支持这项任务,我们提出了TGForecaster,这是一个稳健的基线模型,它使用交叉注意机制融合了文本线索和时间序列数据。然后,我们提出了四个精心策划的基准数据集来验证所提出的任务,范围从简单的周期性数据到复杂的事件驱动的波动。我们的综合评估表明,TGForecaster始终如一地实现了最先进的性能,突出了将文本信息纳入时间序列预测的变革潜力。

2024-06-27 14:53:34 30

翻译 TEMPO: PROMPT-BASED GENERATIVE PRE-TRAINED TRANSFORMER FOR TIME SERIES FORECASTING

在过去的十年中,深度学习在时间序列建模方面取得了重大进展。在获得最先进的结果时,最佳性能的体系结构在应用程序和领域之间差异很大。同时,对于自然语言处理,生成预训练转换器(GPT)通过跨各种文本数据集训练一个通用模型,展示了令人印象深刻的性能。探索gpt类型的架构是否对时间序列有效,捕获内在动态属性并导致显着的准确性提高是很有趣的。在本文中,我们提出了一个新的框架,TEMPO,可以有效地学习时间序列表示。

2024-06-26 20:28:36 47

翻译 One Fits All: Power General Time Series Analysis by Pretrained LM

尽管我们已经见证了预训练模型在自然语言处理(NLP)和计算机视觉(CV)领域的巨大成功,但在一般时间序列分析方面的进展有限。与NLP和CV可以使用统一的模型执行不同的任务不同,在分类、异常检测、预测和少量学习等每一个时间序列分析任务中,专门设计的方法仍然占主导地位。阻碍时间序列分析预训练模型发展的主要挑战是缺乏大量的训练数据。在这项工作中,我们通过利用从数十亿代币中预训练的语言或CV模型进行时间序列分析来解决这一挑战。具体来说,我们避免改变预训练语言或图像模型中残差块的自注意和前馈层。

2024-06-26 11:14:26 54

翻译 Encoding Time-Series Explanations through Self-Supervised Model Behavior Consistency

解释时间序列模型具有独特的挑战性,因为它需要确定驱动模型预测的时间序列信号的位置以及它们与可解释的时间模式的匹配。虽然来自其他模式的解释器可以应用于时间序列,但它们的归纳偏差不能很好地转移到时间序列的固有挑战解释中。我们提出时间序列一致性模型TIMEX,用于培训解释器。TIMEX训练一个可解释的代理来模仿预训练的时间序列模型的行为。它通过引入模型行为一致性来解决模型忠诚问题,模型行为一致性是一种新的表述,它保留了由预训练模型诱导的潜在空间中的关系与TIMEX诱导的潜在空间中的关系。

2024-06-26 10:22:18 20

翻译 On the Constrained Time-Series Generation Problem

合成时间序列在实际应用中经常用于扩充历史时间序列数据集、放大罕见事件的发生并创建反事实场景。分布相似性(我们称之为真实性)以及满足某些数值约束是反事实时间序列生成的常见要求。例如,美联储发布了由金融机构受限时间序列给出的综合市场压力情景,以评估其在假设衰退中的表现。现有的生成约束时间序列的方法通常会惩罚训练损失以强制执行约束,并拒绝不合格的样本。然而,如果我们改变约束,这些方法将需要重新训练,并且拒绝采样的计算成本可能很高,或者对于复杂的约束来说是不切实际的。

2024-06-25 16:53:22 26

翻译 OneNet: Enhancing Time Series Forecasting Models under Concept Drift by Online Ensembling

时间序列预测模型在线更新旨在通过基于流数据高效更新预测模型来解决概念漂移问题。许多算法都是为在线时间序列预测而设计的,其中一些算法利用交叉变量依赖性,而另一些则假设变量之间的独立性。鉴于每个数据假设在在线时间序列建模中都有其自身的优点和缺点,我们提出了在线集成网络(OneNet)。它动态更新和组合两个模型,一个专注于跨时间维度的依赖关系建模,另一个专注于跨变量依赖关系建模。我们的方法将基于强化学习的方法融入到传统的在线凸编程框架中,允许动态调整权重的两个模型的线性组合。

2024-06-25 10:39:17 38

翻译 Predict, Refine, Synthesize: Self-Guiding Diffusion Models for Probabilistic Time Series Forecasting

扩散模型在各个领域的生成建模任务中取得了最先进的性能。先前关于时间序列扩散模型的工作主要集中于开发针对特定预测或插补任务的条件模型。在这项工作中,我们探索了任务无关的无条件扩散模型在多个时间序列应用中的潜力。我们提出了 TSDiff,一种无条件训练的时间序列扩散模型。我们提出的自引导机制能够在推理过程中为下游任务调节 TSDiff,而不需要辅助网络或改变训练程序。我们证明了我们的方法在三个不同时间序列任务上的有效性:预测、细化和合成数据生成。

2024-06-23 20:19:50 55

翻译 ContiFormer: Continuous-Time Transformer for Irregular Time Series Modeling

对不规则时间序列的连续时间动态进行建模对于解释连续发生的数据演变和相关性至关重要。包括循环神经网络或 Transformer 模型在内的传统方法通过强大的神经架构利用归纳偏差来捕获复杂的模式。然而,由于其离散特性,它们在推广到连续时间数据范式方面存在局限性。尽管神经常微分方程(神经常微分方程)及其变体在处理不规则时间序列方面显示出有希望的结果,但它们通常无法捕获这些序列中复杂的相关性。同时对输入数据点之间的关系进行建模并捕获连续时间系统的动态变化是具有挑战性和要求的。

2024-06-21 16:41:47 74 1

翻译 Time Series Kernels based on Nonlinear Vector AutoRegressive Delay Embeddings

核设计是时间序列分析的一个关键但具有挑战性的方面,特别是在小数据集的背景下。近年来,油藏计算(RC)已成为一种强大的工具,可以根据生成过程的基本动态而不是观测数据来比较时间序列。然而,RC 的性能高度依赖于超参数设置,由于 RC 的循环性质,超参数设置难以解释且优化成本高昂。在这里,我们基于最近建立的油藏动力学和非线性向量自回归(NVAR)过程之间的等价性,提出了一个新的时间序列内核。内核是非循环的,并且依赖于一小组有意义的超参数,为此我们建议采用有效的启发式方法。

2024-06-21 10:55:15 20

翻译 BasisFormer: Attention-based Time Series Forecasting with Learnable and Interpretable Basis

由于它们能够充当特征提取器或未来参考,因此基础已成为基于深度学习的现代时间序列预测模型不可或缺的一部分。为了有效,基础必须针对特定的时间序列数据集进行定制,并与该集中的每个时间序列表现出明显的相关性。然而,当前最先进的方法在同时满足这两个要求的能力方面受到限制。为了应对这一挑战,我们提出了 BasisFormer,这是一种利用可学习和可解释基础的端到端时间序列预测架构。该架构由三个组成部分组成:首先,我们通过自适应自监督学习获取基础,它将时间序列的历史部分和未来部分视为两种不同的视图,并采用对比学习。

2024-06-20 16:29:11 55

翻译 Conformal Prediction for Time Series with Modern Hopfield Networks

为了量化不确定性,共形预测方法越来越受到人们的关注,并已成功应用于各个领域。然而,它们很难应用于时间序列,因为时间序列的自相关结构违反了共形预测所需的基本假设。我们提出了 HopCPT,一种新颖的时间序列保形预测方法,它不仅可以处理时间结构,而且可以利用它们。我们表明,我们的方法在理论上对于存在时间依赖性的时间序列是合理的。在实验中,我们证明我们的新方法在来自四个不同领域的多个真实世界时间序列数据集上优于最先进的保形预测方法。提示:以下是本篇文章正文内容。

2024-06-19 16:24:54 67

翻译 FourierGNN: Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective

多元时间序列 (MTS) 预测在许多行业中表现出非常重要的作用。当前最先进的基于图神经网络(GNN)的预测方法通常需要图网络(例如 GCN)和时间网络(例如 LSTM)来捕获系列间(空间)动态和系列内( 分别是时间)依赖性。然而,两个网络的不确定兼容性给手工模型设计带来了额外的负担。此外,分离的时空建模自然违反了现实世界中统一的时空相互依赖关系,这在很大程度上阻碍了预测性能。为了克服这些问题,我们探索了直接应用图网络的有趣方向,并从纯图的角度重新思考 MTS 预测。

2024-06-17 17:02:15 47

翻译 CrossGNN: Confronting Noisy Multivariate Time Series Via Cross Interaction Refinement

近年来,多元时间序列(MTS)预测技术得到了快速发展并在各个领域得到广泛应用。基于 Transformer 和基于 GNN 的方法由于其对时间和变量交互建模的强大能力而显示出巨大的潜力。然而,通过对现实世界数据进行全面分析,我们发现现有方法并不能很好地处理变量之间的时间波动和异质性。为了解决上述问题,我们提出了 CrossGNN,一种线性复杂性 GNN 模型,用于细化 MTS 的跨尺度和跨变量交互。为了处理时间维度上的意外噪声,利用自适应多尺度标识符(AMSI)来构建降噪的多尺度时间序列。

2024-06-17 11:16:14 25

翻译 MODERNTCN: A MODERN PURE CONVOLUTION STRUCTURE FOR GENERAL TIME SERIES ANALYSIS

近年来,基于 Transformer 和 MLP 的模型迅速崛起,并在时间序列分析中占据主导地位。相比之下,卷积现在由于性能较差而在时间序列任务中失去动力。本文研究了如何在时间序列分析中更好地使用卷积这一悬而未决的问题,并努力将卷积带回时间序列分析的舞台。为此,我们对传统的TCN进行现代化改造,并进行时间序列相关的修改,使其更适合时间序列任务。作为结果,我们提出了 ModernTCN,并通过时间序列社区中很少探索的方式成功解决了这个悬而未决的问题。

2024-06-16 15:49:01 198

翻译 Koopa: Learning Non-stationary Time Series Dynamics with Koopman Predictors

现实世界的时间序列具有内在的非平稳性,这对深度预测模型提出了主要挑战。虽然以前的模型因时间分布变化而受到复杂的序列变化的影响,但我们用现代库普曼理论来处理非平稳时间序列,该理论从根本上考虑了潜在的时变动力学。受描绘复杂动力系统的库普曼理论的启发,我们通过傅立叶滤波器从复杂的非平稳序列中分离出时变和时不变分量,并设计库普曼预测器来推进各自的动力学。从技术上讲,我们建议 Koopa 作为一种新颖的 Koopman 预测器,由可学习分层动态的可堆叠块组成。

2024-06-16 11:33:46 109

翻译 Frequency-domain MLPs are More Effective Learners in Time Series Forecasting

时间序列预测在金融、交通、能源、医疗保健等不同行业中发挥着关键作用。虽然现有文献设计了许多基于 RNN、GNN 或 Transformer 的复杂架构,但提出了另一种基于多层感知器(MLP)的方法,其结构简单、复杂度低且性能优越。然而,大多数基于MLP的预测方法都存在逐点映射和信息瓶颈,这在很大程度上阻碍了预测性能。为了克服这个问题,我们探索了在频域中应用 MLP 进行时间序列预测的新方向。

2024-06-15 18:17:37 41

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除