- 博客(131)
- 收藏
- 关注
RSS订阅原创 对patch深入理解下篇：Patch+LSTM实现以及改进策略整理
我在去年11月份写了，主要介绍patch的原理和代码实现过程。文章发布后很多朋友催更下篇，其实一直在积累素材，因为介绍完原理和实现之后，下一步肯定是要考虑如何改进。在这之前，首先，我们接着上一篇的内容，实现了一个LSTM+patch的例子，结果表明加上Patch之后确实对LSTM在各指标和预测长度上均有明显的效果提升。然后，本篇文章还重点介绍了最近一段时间我读到的对patch的几种改进策略，以及自己的一些思考。
2025-04-24 20:08:43
876
原创 序论文42 | patch+MLP用于长序列预测
论文标题：Unlocking the Power of Patch: Patch-Based MLP for Long-Term Time Series Forecasting代码链接：https://github.com/TangPeiwang/PatchMLP（后台回复“交流”加入讨论群，回复“资源”获取2024年度论文讲解合集）
2025-04-24 20:03:02
665
原创 时序论文41 | Medformer：基于多粒度patch的时序分类模型
论文标题：Medformer: A Multi-Granularity Patching Transformer for Medical Time-Series Classification代码链接：https://github.com/DL4mHealth/Medformer.（后台回复“交流”加入讨论群，回复“资源”获取2024年度论文讲解合集）
2025-02-27 22:31:58
781
1
原创 时序论文40 | 将不规则采样时间序列转换为图像，利用预训练视觉Transformer进行分类
这篇论文提出了一种简单而有效的方法，将不规则采样时间序列转换为线图图像，并利用预训练的视觉变换器进行分类。实验结果表明，该方法在处理不规则采样时间序列方面表现优异，并且在常规时间序列数据上也取得了良好的效果。该方法展示了将计算机视觉技术应用于时间序列建模的潜力，并为未来的研究提供了新的方向。一些疑问和值得探索的问题：是否存在其他更可控和准确的绘图方法或不同的图像表示方式？是否有更好的策略发挥预训练的视觉大模型在时间序列的作用？大家可以关注我【科学最top】，第一时间follow时序高水平论文解读！！！
2025-02-27 22:31:02
682
原创 时序论文37 | DUET：双向聚类增强的多变量时间序列预测
多变量时间序列预测（MTSF）在金融投资、能源管理、天气预测和交通优化等领域具有重要应用。然而，现实中的时间序列通常面临两大挑战：时间模式的异质性，即由于外部因素的影响，真实时间序列往往表现出非平稳性（Temporal Distribution Shift, TDS），导致其分布和模式发生显著变化；通道间的复杂关系，即不同通道（变量）之间通常存在复杂且交错的相关性，包括显著相关的通道、噪声通道以及无关通道，这种复杂性使得精准建模变得尤为困难。
2025-02-03 11:26:51
1750
原创 时序论文39 | 频域MLP在时间序列预测中更为有效
篇论文提出了一种新的频率域MLPs架构，用于时间序列预测。通过重新设计频率域MLPS，能够有效捕捉时间序列的全局依赖性和能量压缩特性。实验结果表明，FreTS在短期和长期预测任务中均表现出色，具有高效性和鲁棒性。该研究为未来在时间序列建模中应用MLPs提供了新的思路和基础大家可以关注我【科学最top】，第一时间follow时序高水平论文解读！！！，后台回复“交流”加入讨论群，回复“资源”获取2024年度论文讲解合集。
2025-02-03 11:24:02
908
原创 时序论文36｜如何在充分利用时间戳信息？
论文标题：HowMuchCanTime-relatedFeaturesEnhanceTimeSeriesForecasting?代码链接：https://github.com/zclzcl0223/TimeLinear。
2025-01-18 08:37:52
664
原创 基础篇-认识时间序列常用数据集
最近在筹备写知识星球的文章，主要想把自己看完论文之后偶然产生的想法idea，以及实验验证过程记录下来。其实平时有挺多想法，但大多没有形成文字，或是跑跑代码就丢掉了，回过头想查资料就很麻烦，特别是知道自己曾经有过灵感，但就想不起来就很急。目前已经完成了一部分，本篇先分享出来，请大家给点意见。
2025-01-14 19:44:03
2904
2
原创 时序论文35｜LPTM：用于跨领域时序任务预训练模型（引入动态切分）
先来说说这篇文章的核心贡献吧。虽然洋洋洒洒篇幅很长，其实最重要的创新点就一个，可以概括为：针对时间序列分析任务中从多领域异构数据提取有效输入的难题，设计了自适应分割模块，它依据自监督预训练损失确定各领域最优分割策略，克服了以往固定长度分割的局限。并以此为基础，提出了大规模预训练模型 LPTM，本文并没有对backbone从模型的角度进行改进，核心创新主要还是上面说的自适应分割，使 LPTM 在不同领域数据集上能灵活适应。
2025-01-09 20:18:10
932
原创 时序论文34｜AdaWaveNet：用于时间序列分析的自适应小波网络
这篇文章面向非平稳时间序列进行分析与建模，首先要理解平稳序列与非平稳序列的概念：平稳序列一般指数据的统计特性（如均值、方差、自协方差等）不随时间变化而变化，非平稳序列则相反。很明显，平稳序列的建模与分析是相对容易的，而非平稳序列我认为极端情况下是很难预测或者不可预测的。论文29论文04。但真实场景中，肯定非平稳序列更多，那么换句话说，已有多数模型如果直接应用到真实数据，实际很难捕捉序列中的时间动态变化，从而导致时间序列分析中出现偏差和误差。那么已有的工作是怎么改进的呢？
2024-12-28 21:26:55
1199
原创 时序论文33｜NIPS24借助大型语言模型的自回归时间序列预测器AutoTimes
最近大家在读ICLR25的文章吗？感觉高分论文需要的知识储备好多，阅读门槛也太高了～回到这篇文章，本文提出“AutoTimes”方法，旨在将大型语言模型重新用于自回归时间序列预测，通过把时间序列投射到语言标记的嵌入空间中，并以自回归的方式生成任意长度的未来预测结果。“AutoTimes”将时间序列表述为提示信息，将预测的上下文扩展到回顾窗口之外，这被称为“上下文内预测”。通过引入嵌入大型语言模型的文本时间戳，“AutoTimes”能够利用时间顺序信息来对齐多元时间序列。
2024-12-22 10:27:17
774
原创 时序论文31｜NIPS24自注意力机制真的对时序预测任务有效吗？
本文将重点转向探究自注意力机制在其中的有效性，提出仅含交叉注意力的CATS架构。当前时间序列预测还是以Transformer为backbone的模型占据主导，但其有效性一直存争议，比如各类线性模型Dlinear、FITS等表现都比很多Transformer架构好。那么问题到底出在哪？其实一个关键问题是评估 Transformer 中哪些元素对于时间序列建模是必要的，哪些是不必要的。Dlinear也提到了这个问题，但他们的分析仅限于用线性层替代注意力层。
2024-12-15 19:12:40
1141
原创 时序论文30｜NIPS24一篇对时间戳深入研究的文章
这篇论文提出了一个新框架GLAFF，关注的重点是时序中的时间戳。时间序列预测在诸多行业都有着关键作用，时间戳因含丰富季节性信息本可提供全局指导，但现有相关工作多聚焦局部观测，未充分利用时间戳，致使在现实世界数据受污染时，算法的稳健预测能力受影响。为此，作者提出名为GLAFF的新框架，它会对时间戳单独建模以捕捉全局依赖，并且能作为插件自适应调整全局和局部信息的组合权重，实现与各类时间序列预测主干网络的无缝协作。
2024-12-15 19:10:21
723
原创 时序顶会基础创新知识点- Patch深入理解上篇
翻了自己的笔记，我是2023年11月份因为想学量化开始了解时序研究，又因为学时序偶然看到了Patch TST这篇文章。于是在11月23号读了论文并记下笔记，后来又做了粗浅的代码解读，当时就感觉时序任务中，Patch未来将像位置编码一样成为Transformer架构不可缺少的一部分。到今天整一年过去了，重新阅读Patch TST的论文和代码，发现自己以前对patch的理解是比较想当然的。
2024-12-03 21:21:11
1055
1
原创 时序顶会基础创新知识点-傅立叶变换篇
很长一段时间以来，我在读论文的时候经常看到时序研究中，会运用傅立叶变换做初步的处理，然后基于处理结果，进行后续的建模研究。又因为“傅立叶变换”这个名字太熟悉了，但是对于它的推理过程、应用步骤，每次似乎都没有彻底吃透，于是占据时间序列分析建模重要地位的傅立叶变换，似乎既熟悉又陌生。我回顾了自己学习傅立叶变换的过程，觉得没能学好的原因大概在于两方面：一是自己数学基础确实比较弱，一到数学推理部分就比较吃力；二是大量的科普内容要么侧重于可视化展示，要么侧重于严谨的数学推导；三是应用场景并不集中在时间序列领域。
2024-12-03 21:17:42
1059
原创 2024年NIPS中6篇时序大模型研究汇总
在对三种近期流行的基于大型语言模型的时间序列预测方法进行的一系列消融研究中，我们发现移除大型语言模型组件或者用一个基本的注意力层代替它，并不会降低预测性能 —— 在大多数情况下，结果甚至有所提高！我们还发现，尽管预训练的大型语言模型计算成本很高，但它们并不比从头开始训练的模型表现更好，它们无法体现时间序列中的顺序依赖关系，在少样本情境下也没有帮助。作者首先将时间序列转换为文本标记的形式。与最先进的基准相比，LPTM在实现更优的预测和时间序列分类结果的同时，所使用的数据量减少了40%，训练时间减少了50%。
2024-12-01 10:19:22
1159
原创 时序论文29｜面向非平稳时间序列预测的频率自适应归一化模型
时间序列中的非平稳性是我一直比较感兴趣的点，之前我写过的论文解读，也是对非平稳性进行建模，不过那篇文章主要从注意力机制的角度进行改进，这篇文章则从序列分解的角度，使用的方法是傅立叶变换，两篇文章思路差异还是挺大的。我们先回顾一下平稳性的概念，它指的是时间序列的统计特性均值、方差不随时间的推移而发生变化。但这里有个误区，我一直以为反过来说均值和方差不变，序列就平稳，但事实是不少这样！判断一个时间序列是否平稳，可以使用一些统计方法，如单位根检验等。
2024-12-01 10:17:52
1677
原创 时序论文28｜CycleNet：通过对周期模式进行建模增强时间序列预测
这是今年NIPS的一篇时序论文，主要是提出了一种通过对周期模式进行建模来提高时间序列预测性能的方法。很明显，论文潜在的应用领域是那些具有周期模式的数据。这是一种很好的思路，就是把应用方向限制在具体问题上。时间序列领域有很多问题，比如：平稳性、周期性、长/短预测、趋势分解等等，一个模型肯定不能适应所有数据，解决所有问题，那么我就把问题定义清楚，只解决我定义的问题。在论文中对结果做定量分析，解释本文方法为什么，并对其局限性和未来研究方向进行了讨论，这样相当于间接堵住审稿人的嘴。
2024-11-30 20:36:17
1236
原创 时序论文27｜Fredformer：频域去偏差的时序预测Transformer模型
这篇文章发表于KDD2024，作者的出发点以及写作思路特别好，属于先通过定量分析发现时序预测任务中，频域信息利用不合理的问题，然后有针对性的设计了Fredformer模型，最后进行实验评估。所以论文读下来很顺畅，模型设计也让你感觉有据可循。所以理解这篇文章，首先要跟着作者的思路。来看上面这张图，作者挑选了三个模型，分别是FEDformer、Patch TST和本文模型。其中绿线是真实数据，红线是模型预测的曲线，很明显FEDformer和Patch TST的预测，
2024-11-30 20:34:52
1151
原创 时序论文26｜CAFO：以特征为中心的时序分类可解释性探究
通过在两个主要公共基准和真实世界数据集（包括合成数据和专门设计用于突出类别判别特征的自收集数据）上的广泛实证分析， CAFO 在多变量时间序列分类中解释特征重要性方面的有效性，特别是在与现有视觉模型和基于原始时间序列的方法相比时。以特征为中心的好处在于，咱们可以知道哪个传感器收集到的特征对模型分类起到重要作用，尝试删除特征、拿掉不重要的传感器就可以降低工业成本，提高分析的效率。（2）QR-Ortho，一种基于QR分解的正则化方法，确保特征的可分性，从而改进特征为中心的解释。
2024-11-25 22:02:58
889
原创 时序论文25｜ShapeFormer: 用于多变量时间序列分类的Shapelet Transformer
本文面向的任务是多元时间序列分类任务，提出Shapelet Transformer（ShapeFormer），提取通用特征和代表性类别特定特征(shapelets)。一、什么是序列的shapelets?这里有一个重要概念:shapelets。在多元时间序列分类（MTSC）中，"Shapelet"是每个类别的判别性子序列，换句话说就是那些含有特定类别信息的时间序列子序列。很明显，Shapelet与其类别的时间序列之间的距离远小于与其他类别时间序列的距离（见图1），这种覆盖能力使它们能有效代表时间序列。
2024-11-25 22:01:40
1454
原创 时间序列在数据embedding方面有哪些创新方法和工作？
作为一个纯粹的卷积结构，ModernTCN在五个主流的时间序列分析任务（长期和短期预测、插补、分类和异常检测）上仍然实现了一致的最先进性能，同时保持了基于卷积模型的效率优势，因此提供了比现有的基于Transformer和基于MLP的模型更好的效率和性能平衡。但同时，局部位置信息，即时间序列的顺序是极其重要的。本篇文章就整理了近期在时序数据输入嵌入方面的工作，这些工作为了增强时间序列输入的时间上下文，改进了时序数据的嵌入方式，如：固定的位置编码、通道投影嵌入、可学习的时态嵌入、带有时间卷积层的时态嵌入等。
2024-11-22 22:39:34
1099
原创 时序论文23｜ICML24谷歌开源零样本时序大模型TimesFM
谷歌这篇时间序列大模型很早之前就在关注，今天搜索了一下，对应的文章入选了ICML24，其开源的代码github已经有3.5K star。据论文中的描述，TimesFM模型在各种公共数据集上的即插即用零样本性能接近于每个单独数据集的最先进监督预测模型的准确性。TimesFM在参数数量（2亿）和预训练数据规模（约100B个时间点）上更为紧凑。此外，模型基于预训练的解码器（Decoder Only），使用输入patch，利用包括真实世界和合成数据集在内的大型时间序列数据进行训练。TimesFM能够适应不同的。
2024-11-22 22:38:11
1338
原创 时序论文22｜ICML24港科大：面向多变量不规则的时间序列预测方法
这篇文章在“定位研究问题”方面很值得学习。其实前段时间对时序研究感觉挺悲观的，因为总感觉各类指标已经卷到头了，没什么值得改进和研究的。但是仔细想想，包括这篇文章、以及今年的Itransformer、FITS等在内的文章，都做的很“巧秒轻量化、不定长采样等。在这样一个具体场景下，算法本身其实并不复杂，但是却往往能够吸引眼球。如上图，这篇文章就面向的是：对医疗保健、生物力学、气候科学等不规则多变量时间序列（IMTS）的预测，这就和普通卷指标的论文区别开了。
2024-11-21 20:43:48
1016
原创 七篇值得关注的时序卷积文章（一个不太卷的方向）
这种转换可以将周期内和周期间的变异嵌入到二维张量的列和行中，使得二维变化容易被二维核所建模，提出了以TimesBlock作为通用主干的TimesNet，TimesBlock能够自适应地发现多周期性，并通过参数高效的初始块从转换后的二维张量中提取复杂的时间变化。作为一种纯卷积结构，ModernTCN在五个主流的时间序列分析任务上仍然实现了与最先进的性能一致，同时保持了基于卷积模型的效率优势，因此提供了比现有的基于Transformer和基于MLP的模型更好的效率和性能平衡。即长期和短期时间序列网络。
2024-11-21 20:41:30
1041
原创 时序必读论文21｜ICLR24重新思考通道依赖的重要性，思路值得学习
现在很多主流时序模型都是通道独立的，CI（channel independent）的好处在于可以避免过拟合。但是仔细想想多变量之间肯定是有关联的，假设气压升高，温度随后也升高。那实际上气压和温度可能遵循同样的变化模式，只是气压变化领先于温度。看个例子，下图有三个变量v1v2和v3，他们的变化模式是相同的，但是这种变化模式前后有个"时间差"如果直接用通道依赖，由于时间差的存在，造成聚合不同变量时段内实际的变化模式不一致，间接导致预测目标不同。（1）检测多变量相关性。
2024-11-19 00:08:10
1255
原创 ICML24最新开源时序基础模型MOMENT
当前时间序列数据上预训练大型模型面临以下挑战：(1) 缺乏大型且统一的公共时间序列数据集，(2) 时间序列特征的多样性使得多数据集训练十分繁重。(3) 用于评估这些模型的实验基准仍处于起步阶段，尤其是在资源、时间和监督有限的情况下。本文提出MOMENT，一个用于通用时间序列分析的开源基础模型家族。
2024-11-19 00:06:48
1247
原创 基于视觉智能的时间序列基础模型
作者是来自西安理工大学，西北工业大学，以色列理工大学以及香港城市大学的研究者。近年来，深度学习模型在特定数据集上表现优异，但它们往往需要大量的领域特定数据进行训练，缺乏跨域泛化能力。这一挑战促使研究人员开始探索构建基础模型（Foundation Model）的可能性，以期望通过预训练获得通用的时间序列理解能力，进而实现跨域零样本（Zero-shot）或少样本（Few-shot）学习。1)现有的TSF模型，包括基础模型，主要关注于直接拟合数值时间序列数据。
2024-11-17 16:11:04
921
原创 谷歌｜清华｜CMU近期值得关注的3个时序大模型研究
在预训练期间，作者策划了包含多达10亿时间点的大规模数据集，将异构时间序列统一为单序列序列（S3）格式，并发展了面向LTSM的GPT风格架构。”，并系统地解决时间序列特有的挑战，以实现大规模多数据集预训练。先前整理了4篇时间序列大模型的论文，ICML放榜之后，我重点关注了大模型相关的论文，再次梳理了谷歌、清华和CMU的3近期几篇时间序列大模型研究文章（后台回复：“论文合集”获取，共七篇），时间序列大模型的研究正在迅速发展，并且在多个领域和应用中展现出巨大的潜力，零样本和通用性是大家关注的重点。
2024-11-17 16:09:32
496
原创 ICML24｜通用时间序列预测大模型思路
普适预测器是一个能够处理任何时间序列预测问题的大型预训练模型。它在跨多个领域的大规模时间序列数据集上进行训练。i) 多频率，ii) 任意变量预测，iii) 分布变化。为了解决这些挑战，本文对传统时间序列Transformer架构进行了新颖的增强，提出了——基于掩码编码器的普适时间序列预测Transformer（MOIRAI）。MOIRAI在新引入的大规模开放时间序列档案（LOTSA）上进行了训练，该档案包含了来自九个领域的超过270亿个观测值。
2024-11-16 09:51:46
1273
原创 微软亚洲研究院｜ProbTS：时间序列预测的统一评测框架
在各个行业的时间序列预测应用中，跨越不同预测时长提供精确的点预测和分布预测是一项重要且持久的挑战。此前关于深度学习模型在时间序列预测中的研究往往集中在单一方面，如长期点预测或短期概率估计。这种狭隘的关注可能会导致方法选择的偏颇，并限制这些模型在未知情境中的适应性。尽管开发通用预测模型的趋势日益增长，但对于其优缺点的全面理解，特别是涉及到点预测和分布预测等基本预测需求时，依然不足。本文提出了ProbTS，这是一种设计为统一平台的基准工具，用于评估这些基本预测需求，并对近年来的众多前沿研究进行严格的比较分析。
2024-11-16 09:50:42
982
原创 时间序列关于可解释性值得关注的论文汇总-第2篇
这是时序可解释性论文汇总的第二篇，第一篇见这里（后台回复：“论文合集”可直接获取整理的文章）。深度学习的可解释性研究一直是热门，而时间序列的可解释性同样非常重要。这是因为时序模型被大量应用到特定领域：金融、医疗、交通等，这些应用场景对模型的可解释要求更高，需要提供可解释的预测。1论文标题：（ICLR23）时间序列数据为可解释性方法带来了两个关键挑战：首先，同一特征在随后时间步的观察不是独立的；其次，同一特征对模型预测的重要性随时间变化。
2024-11-15 21:13:00
982
原创 时间序列关于可解释性值得关注的论文汇总（未完待续）
梳理了一些时间序列可解释性研究文章（后台回复：“论文合集”获取），深度学习的可解释性研究一直是热门，而时间序列的可解释性同样非常重要。这是因为时序模型被大量应用到特定领域：金融、医疗、交通等，这些应用场景对模型的可解释要求更高，需要提供可解释的预测。1论文标题：Explaining time series classifiers through meaningful perturbation and optimisation基于显著性的方法旨在突出关键特征，是提高可解释性的方法之一。
2024-11-15 21:08:54
1085
原创 时序论文20｜ICLR20 可解释时间序列预测N-BEATS
为什么时间序列可解释很重要？时间序列的可解释性是确保模型预测结果可靠、透明且易于理解的关键因素。它帮助增强用户信任，促进更明智的决策，同时便于调试和风险管理，特别是在特定领域，例如风险投资、医疗诊断等领域，理解模型背后的逻辑非常重要，毕竟谁也不敢把决策权交给一个黑盒模型。本文设计了一种深度神经网络架构N-BEATS，它以残差连接前后向链接和深层全连接层堆叠为核心。
2024-11-14 22:00:04
1054
原创 时序论文19｜ICML24 : 一篇很好的时序模型轻量化文章，用1k参数进行长时预测
最近读论文发现时间序列研究中，模型的轻量化是目前一个比较热门的方向。这篇论文提出了SparseTSF，一种极其轻量的长时间序列预测（LTSF）模型，旨在解决在有限计算资源下建模复杂时间依赖关系的挑战。SparseTSF的核心是跨周期稀疏预测技术，该技术通过将时间序列数据的周期性和趋势解耦，简化了预测任务。具体来说，该技术通过对原始序列进行降采样，专注于跨周期趋势预测，从而有效提取周期性特征，同时最大限度地减少模型的复杂性和参数数量。基于这种技术，SparseTSF模型使用不到1000。
2024-11-14 21:58:19
2149
原创 时序论文18｜ICML24 ：复旦&微软团队提出基于脉冲网络的时序预测新思路
这篇文章给我们一个发文章的思路：继续在transformer架构卷改进很难了，换新赛道则竞争相对没有那么激烈，要善于发掘新方法在时序上的应用，比如：如KAN、SNN等。另外，这种类型的文章好难讲清楚，太多额外知识点，还是建议看原文～脉冲神经网络（SNNs）因其卓越的能效、事件驱动的特性和生物学的合理性，被公认为神经网络发展的第三代技术，为捕捉时间序列数据的细微差别开辟了独特的途径。复旦大学团队提出了一个针对时间序列预测的SNN框架，充分利用脉冲神经元在处理时间信息方面的高效性。
2024-10-08 20:39:34
1600
原创 时序论文17｜ICML24 SAMformer：华为新奇视角讨论Transformer时序预测时的收敛优化问题
这篇文章发表于ICML2024，文章要解决的问题、以及思路都很新奇，非常推荐大家阅读。基于Transformer的架构在多变量长期预测方面，仍然不如更简单的线性基线。作者首先通过一个toy线性预测问题，展示了Transformer尽管具有很高的表达能力，但无法收敛到它们的真实解，并且注意力机制是导致这种低泛化能力的原因。基于这一洞见，提出了一个浅层轻量级Transformer模型，当使用感知锐度优化进行优化时，能够成功地逃离不良局部最小值。
2024-10-08 20:38:28
913
原创 近期值得关注的4个时序大模型研究
梳理了近期几篇时间序列大模型研究文章（后台回复：“论文合集”获取），时间序列大模型的研究正在迅速发展，并且在多个领域和应用中展现出巨大的潜力。基础模型的构建：研究者们正在尝试构建时间序列预测的基础模型，这些模型可以在不同的时间序列数据集上进行预训练，并展示出良好的泛化能力。模型可解释性：通过文本形式提供解释性的时间序列预测结果，帮助用户更好地理解时间序列数据的模式和趋势。特定领域的应用：大模型正在被应用于特定领域的时间序列预测，如金融、医疗、交通等，以解决特定问题并提供可解释的预测。1UniTS。
2024-10-07 08:47:37
1811
原创 时序必读论文16｜ICLR24 CARD：通道对齐鲁棒混合时序预测Transformer
Transformer取得成功的一个关键因素是通道独立（CI）策略，包括Patch TST在内的很多模型都使用了该策略。然而，CI策略忽略了不同通道之间的相关性，这会限制模型的预测能力。在中，作者针对通道独立进行改进。首先，CARD引入了一种通道对齐的注意力结构，使其能够捕捉信号之间的时间相关性以及多个变量随时间的动态依赖性。其次，为了有效利用多尺度知识，作者设计了一个token混合模块来生成不同分辨率的token。第三，引入一种鲁棒损失函数，以减轻潜在的过拟合问题。
2024-10-07 08:45:51
1096
原创 时序必读论文15｜TimeXer：通过外部变量增强Transformer在时间序列预测中的能力
仅仅关注内生变量，通常不足以保证准确的预测，外部序列可以为内生变量提供有价值的外部信息。先前的多变量或单变量预测方法要么将所有变量平等对待，要么忽视外部信息，本文提出TimeXer框架，利用外部信息来增强内生变量的预测。TimeXer相较于Transformer架构，具备调节内生和外生信息的能力，特别是设计了patch自注意力和variate交叉注意力机制。此外，TimeXer还采用了一个全局内生变量token来将外部序列桥接到内生时间patch中。
2024-10-01 22:59:15
1788
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人