# AI论文辅读
文章平均质量分 94
STLearner
欢迎关注公众号“时空探索之旅”!
展开
-
AI论文速读 | 2024[KDD]自适应时空图神经网络中图中奖彩票的预训练识别
在本文中,提出了一种新方法,通过引入源自彩票假设 (Lottery Ticket Hypothesis,LTH) 的图中奖彩票 (Graph Winning Ticket,GWT) 概念,显著提高自适应时空图神经网络 (ASTGNN) 的计算效率。通过在训练之前采用预先确定的星型拓扑作为 GWT,本文在边缘减少和高效信息传播之间取得平衡,在保持高模型性能的同时降低了计算需求。生成自适应时空图的时间和空间计算复杂度都从ON2O(N^2)ON2显著降低到ONO(N)ON。原创 2024-06-30 13:04:21 · 622 阅读 · 0 评论 -
AI论文速读 | 2024[KDD]ASeer基于异步时空图卷积网络的不规则交通时间序列预测
由智能交通信号控制的交叉口的准确交通预测对于有效的智能交通信号控制系统的发展至关重要。然而,由于智能交叉口产生的不规则交通时间序列,交通预测任务变得更加棘手,并提出了三个主要的新挑战: 1)异步空间依赖,2)交通数据之间的不规则时间依赖,以及3)要预测的可变长度序列,这严重阻碍了当前交通预测方法的性能。为此,提出了一种异步时空图卷积(ASpatio-tEnEtwoRk, ASeer)来预测未来时间窗口内进入智能交叉口的车道的交通状态。原创 2024-06-30 12:59:00 · 1211 阅读 · 0 评论 -
AI论文速读 | 2024[SIGIR]基于大语言模型的下一个兴趣点推荐
下一个兴趣点 (POI) 推荐任务是根据用户的历史数据来预测用户的下一次 POI 访问。基于位置的社交网络(LBSN)数据通常用于下一个 POI 推荐任务,但也面临着挑战。一项经常被忽视的挑战是如何有效地利用 LBSN 数据中存在的丰富上下文信息。以前的方法受到数值性质的限制,无法解决这一挑战。本文提出了一个使用预训练大语言模型(LLM)来应对这一挑战的框架。该框架允许我们以原始格式保存异构 LBSN 数据,从而避免上下文信息的丢失。此外,由于包含常识知识,该框架能够理解上下文信息的内在含义。原创 2024-06-14 22:38:30 · 1189 阅读 · 0 评论 -
AI论文速读 | 2024[ICML]FlashST:简单通用的流量预测提示微调框架
交通预测的目的是准确预测和分析交通模式的动态,同时考虑空间和时间。然而,分布偏移的存在对这一领域提出了重大挑战,因为现有模型在面对与训练分布有显著差异的测试数据时难以很好地泛化。为了解决这个问题,本文介绍了一个简单而通用的时空提示微调框架——FlashST,它使预训练模型适应各种下游数据集的具体特征,提高各种交通预测场景的泛化能力。具体来说,FlashST 框架采用轻量级时空提示网络进行上下文学习,捕获时空不变知识并促进对各种场景的有效适应。原创 2024-06-08 15:52:14 · 1042 阅读 · 0 评论 -
AI论文速读 | 2024[KDD]GinAR—变量缺失端到端多元时序预测
多元时间序列预测 (MTSF) 对于决策至关重要,基于从多个序列的历史观测中识别出的复杂关系来准确预测未来的值/趋势。最近,时空图神经网络 (STGNN) 因其在挖掘时空依赖性方面的强大能力而逐渐成为 MTSF 模型的主题,但它们中的大多数都严重依赖于历史数据完整性的假设。实际上,由于数据收集器故障和耗时修复等因素,收集整个历史观测值而不遗漏任何变量极具挑战性。在这种情况下,STGNN 只能利用正常变量的子集,并且很容易受到不正确的时空依赖性建模问题的影响,从而导致其预测性能下降。原创 2024-06-08 15:47:17 · 1147 阅读 · 0 评论 -
AI论文速读 | 2024[IJCAI]时空解耦掩码预训练的时空预测
时空预测技术对于交通、能源和天气等各个领域都具有重要意义。由于复杂的时空异质性,时空序列的准确预测仍然具有挑战性。特别是,当前的端到端模型受到输入长度的限制,因此经常陷入时空幻觉),即相似的输入时间序列后面跟着不同的未来值,反之亦然。为了解决这些问题,本文提出了一种新颖的自监督预训练框架时空解耦掩码预训练(STD-MAE),它采用两个解耦屏蔽自动编码器沿空间和时间维度重建时空序列。通过这种重建学习的丰富上下文表示可以由下游预测器与任意架构无缝集成,以增强其性能。原创 2024-05-18 14:27:04 · 858 阅读 · 0 评论 -
AI论文速读 |2024[IJCAI]TrajCL: 稳健轨迹表示:通过因果学习隔离环境混杂因素
轨迹建模是指描述人类运动行为的特征,是理解移动模式的关键一步。然而,现有的研究通常忽略地理空间背景的混杂影响,导致获得虚假的相关性和有限的泛化能力。为了弥补这一差距,本文首先制定了结构因果模型(Structural Causal Model,SCM),从因果角度解读轨迹表示学习过程。在 SCM 的基础上,进一步提出了一种基于因果学习的轨迹建模框架(TrajCL),该框架利用后门调整理论作为干预工具来消除地理空间上下文和轨迹之间的虚假相关性。原创 2024-05-06 13:19:04 · 1169 阅读 · 0 评论 -
AI论文速读 | 2024[IJCAI]时空解耦掩码预训练的时空预测
时空预测技术对于交通、能源和天气等各个领域都具有重要意义。由于复杂的时空异质性,时空序列的准确预测仍然具有挑战性。特别是,当前的端到端模型受到输入长度的限制,因此经常陷入时空幻觉),即相似的输入时间序列后面跟着不同的未来值,反之亦然。为了解决这些问题,本文提出了一种新颖的自监督预训练框架时空解耦掩码预训练(STD-MAE),它采用两个解耦屏蔽自动编码器沿空间和时间维度重建时空序列。通过这种重建学习的丰富上下文表示可以由下游预测器与任意架构无缝集成,以增强其性能。原创 2024-05-06 13:11:55 · 1010 阅读 · 0 评论 -
AI论文速读 |从图结构角度统一车道级交通预测:基准和基线
本文深入分析了车道级别交通预测面临的挑战,如缺乏统一评估标准、数据和代码的公共可用性有限、高频率和细粒度数据处理以及对实时变化的快速响应等。为了解决这些问题,论文提出了一个统一的拓扑建模方法和预测任务框架,开发了一个基于图结构和多层感知器(MLP)网络的基线模型GraphMLP,并创建了三个多样化数据集。此外,论文还复现了之前未公开的代码,进行了现有模型和新模型的全面、公平的基准测试,并通过实验验证了所提方法的有效性和效率。原创 2024-04-23 13:55:10 · 751 阅读 · 0 评论 -
AI论文速读 |2024[TPAMI]【综述】自监督学习在时间序列分析的分类、进展与展望
自监督学习(SSL)最近在各种时间序列任务上取得了令人印象深刻的表现。SSL最突出的优点是减少了对标记数据的依赖。基于预训练和微调策略,即使少量的标记数据也能实现高性能。与许多已发表的关于计算机视觉和自然语言处理的自监督综述相比,仍然缺少针对时间序列 SSL 的全面综述。为了填补这一空白,我们在本文中回顾了当前最先进的时间序列数据 SSL 方法。为此,本文首先全面回顾与 SSL 和时间序列相关的现有综述,然后从基于生成、基于对比和基于对抗性三个角度进行总结,为现有时间序列 SSL 方法提供新的分类。原创 2024-04-23 13:53:27 · 2093 阅读 · 0 评论 -
AI论文速读 | 2024[VLDB]TFB:全面与公正的时间序列预测方法基准测试研究
时间序列在经济、交通、健康和能源等不同领域生成,其中未来值的预测具有许多重要的应用。毫不奇怪,人们提出了许多预测方法。为了确保进展,必须能够以全面、可靠的方式对这些方法进行实证研究和比较。为了实现这一目标,本文提出了 TFB,一种时间序列预测 (TSF) 方法的自动化基准。TFB 通过解决与数据集、比较方法和评估流程相关的缺点来推进最先进的技术,即:1)数据域覆盖范围不足,2)对传统方法的刻板印象偏见,以及 3)不一致且不灵活的流程。原创 2024-04-18 13:13:10 · 1391 阅读 · 0 评论 -
AI论文速读 | ST-LoRA:低秩适配的时空预测
时空预测在现实世界的动态系统中至关重要,它利用来自不同地点的历史数据来预测未来的变化。现有的方法通常优先考虑开发复杂的神经网络来捕获数据的复杂依赖性,但其准确性未能显示出持续的改进。此外,这些方法还忽视了节点的异构性,阻碍了定制预测模块有效处理不同的区域节点。本文目标不是提出一种新模型,而是提出一种新颖的低秩适配框架,作为现有时空预测模型的现成插件,称为ST-LoRA,它通过以下方式缓解上述问题: 节点级调整。具体来说,首先定制一个包含多个可训练低秩矩阵的节点自适配低秩层。原创 2024-04-18 13:10:06 · 427 阅读 · 0 评论 -
AI论文速读 |(图腾) TOTEM:通用时间序列分析的token化时间序列嵌入表示
通用时间序列分析领域最近开始探索统一建模,其中可以针对特定数据集的特定任务重新训练通用架构主干。在这项工作中,我们从一个互补的有利角度来实现统一:跨任务和领域的统一(unification across tasks and domains)。为此,本文探索了离散的、学习的、时间序列数据表示的影响,这些数据表示能够实现通用的、跨领域的训练。原创 2024-04-12 15:33:05 · 851 阅读 · 0 评论 -
AI论文速读 | TF-LLM:基于大语言模型可解释性的交通预测
交通流量预测为智能交通系统提供了重要的未来视角。可解释的预测为影响交通模式的因素提供了宝贵的见解,有助于城市规划者、交通工程师和政策制定者就基础设施发展、交通管理策略和公共交通规划做出明智的决策。尽管基于深度学习的预测方法广泛流行且准确性值得称赞,但其透明度和可解释性常常令人失望。最近,大规模时空数据的可用性和大型语言模型(LLM)的发展为城市交通预测开辟了新的机遇。随着LLM的流行,人们见证了基础模型在各种任务中潜在的推理和生成能力。将文本视为输入和输出,LLM在生成更直观和可解释的预测方面具有优势。原创 2024-04-10 17:04:48 · 1222 阅读 · 0 评论 -
AI论文速读 | 线性时间序列预测模型分析
尽管线性模型很简单,但即使与更深、更昂贵的模型进行比较,线性模型在时间序列预测中也表现良好。人们已经提出了线性模型的许多变体,通常包括某种形式的特征归一化,以提高模型的泛化能力。在本文中,我们分析了使用这些线性模型架构可表达的函数集。通过这样做,我们证明了用于时间序列预测的线性模型的几种流行变体与标准的无约束线性回归是等效的并且在功能上没有区别。我们描述每个线性变体的模型类。我们证明每个模型都可以被重新解释为在适当增强的特征集上的无约束线性回归,因此在使用均方损失函数时允许封闭形式的解决方案。原创 2024-04-10 16:59:38 · 1114 阅读 · 0 评论 -
AI论文速读 | 2024[WWW]不只是路线:联合 GPS 和路线建模的轨迹表示学习
A: 这篇论文提出了一个名为JGRM(Joint GPS and Route Modeling)的新型轨迹表示学习框架,旨在通过结合GPS轨迹和路线轨迹的信息来提高轨迹数据的表示能力。问题背景:传统的GPS轨迹处理方法通常关注于简化轨迹以过滤噪声,但这忽略了GPS数据中包含的运动细节。此外,早期的轨迹表示学习方法通常针对特定下游任务设计,泛化能力较差。方法提出:为了解决这些问题,论文提出了JGRM框架,它包含两个主要的编码器(GPS编码器和路线编码器)以及一个模态交互器。原创 2024-04-04 14:07:01 · 1112 阅读 · 0 评论 -
AI论文速读 |【综述】 时序分析基础模型:教程与综述
时间序列分析是数据挖掘社区中的焦点,是提取对无数实际应用程序至关重要的有价值见解的基石。基础模型 (FM) 的最新进展从根本上重塑了时间序列分析的模型设计范式,在实践中推动了各种下游任务。这些创新方法通常利用预先训练或微调的 FM 来利用专为时间序列分析定制的通用知识。在本综述中,目标是提供用于时间序列分析的 FM 的全面且最新的概述。虽然之前的综述主要关注 FM 在时间序列分析中的应用或流程方面,但它们往往缺乏对阐明 FM 为何以及如何有益于时间序列分析的基本机制的深入理解。原创 2024-04-04 14:02:12 · 1186 阅读 · 0 评论 -
AI论文速读 |【Mambda×时序预测】 时光机(TimeMachine):A Time Series is Worth 4 Mambas for Long-term Forecasting
由于捕获长期依赖性、实现线性可扩展性和保持计算效率的困难,长期时间序列预测仍然具有挑战性。推出了 TimeMachine,这是一个创新模型,它利用 Mamba(一种状态空间模型)来捕获多元时间序列数据中的长期依赖性,同时保持线性可扩展性和较小的内存占用。原创 2024-03-27 15:28:23 · 2363 阅读 · 0 评论 -
AI论文速读 | 【综述】用于轨迹数据管理和挖掘的深度学习:综述与展望
轨迹计算是轨迹数据管理和挖掘的关键领域,由于其在位置服务、城市交通和公共安全等各种实际应用中的关键作用而受到广泛关注。传统方法侧重于简单的时空特征,面临着计算复杂、可扩展性有限以及对现实世界复杂性适应性不足的挑战。在本文中,全面回顾了轨迹计算深度学习(DL4Traj)的发展和最新进展。本文首先定义轨迹数据并简要概述广泛使用的深度学习模型。并系统地探索深度学习在**轨迹管理(预处理、存储、分析和可视化)和挖掘(轨迹相关预测、轨迹相关推荐、轨迹分类、行程时间估计、异常检测和移动性生成)中的应用。原创 2024-03-27 11:10:15 · 1313 阅读 · 0 评论 -
AI论文速读 | 具有时间动态的路网语义增强表示学习
在这项研究中,引入了一种名为Toast的新颖框架,用于学习路网的通用表示,以及其改进模型 DyToast,旨在增强时间动态的集成,以提高各种时间敏感下游任务的性能。具体来说,提出对路网固有的两个关键语义特征进行编码:交通模式和行驶语义。为了实现这一目标,通过合并旨在预测与目标路段相关的交通环境的辅助目标来完善skip-gram模块。此外,利用轨迹数据并基于 Transformer 设计预训练策略来提取路网上的行驶语义。原创 2024-03-25 19:17:30 · 753 阅读 · 0 评论 -
AI论文速读 |(Mamba×时空图预测!) STG-Mamba:通过选择性状态空间模型进行时空图学习
时空图(STG)数据具有动态、异构和非平稳的特点,导致时空图学习面临持续的挑战。在过去的几年里,人们提出了各种基于 GNN 的方法,仅仅专注于模仿 STG 网络的节点个体之间的关系,而忽略了对 STG 系统随时间推移存在的内在特征进行建模的重要性。相比之下,现代选择性状态空间模型(SSSM)提出了一种将 STG 网络视为一个系统的新方法,并仔细探索 STG 系统跨时间维度的动态状态演化。原创 2024-03-21 13:46:24 · 1894 阅读 · 0 评论 -
AI论文速读 | UniTS:构建统一的时间序列模型
基础模型,尤其是大语言模型,正在深刻地改变深度学习。可以通过少量提示或微调使单个预训练模型适应许多任务,而不是训练许多特定于任务的模型。然而,当前的基础模型适用于序列数据,但不适用于时间序列,由于固有的多样化和多域时间序列数据集、预测、分类和其他类型任务的不同任务规范以及对任务的明显需求需要各自专门的模型(task-specialized model),这带来了独特的挑战。本文开发了 UNITS,这是一个统一的时间序列模型,支持通用任务规范,可容纳分类、预测、插补和异常检测任务。原创 2024-03-18 20:14:24 · 1402 阅读 · 0 评论 -
AI论文速读 | UniST:提示赋能通用模型用于城市时空预测
城市时空预测对于交通管理、资源优化和城市规划等明智决策至关重要。尽管预训练基础模型在自然语言已经取得了显着的突破,其中通用模型可以处理跨不同领域的多项任务,但城市时空建模仍然落后。现有的城市预测方法通常是针对特定的时空场景量身定制的,需要特定于任务的模型设计和广泛的域内训练数据。在这项工作中,提出了一种用于城市时空预测的通用模型 UniST。原创 2024-03-18 20:11:54 · 1376 阅读 · 0 评论 -
AI论文速读 | TPLLM:基于预训练语言模型的交通预测框架
本文提出了TPLLM框架,一个基于预训练大型语言模型(LLMs)的交通预测系统,它通过结合序列和图嵌入层以及LoRA微调技术,能够在数据有限的情况下有效提高交通流量预测的准确性和泛化能力。原创 2024-03-13 18:47:22 · 1506 阅读 · 0 评论 -
AI论文速读 | 计时器(Timer):用于大规模时间序列分析的Transformer
深度学习对时间序列分析的进步做出了巨大贡献。尽管如此,深度模型在现实世界的小样本场景中仍可能遇到性能瓶颈,而这种瓶颈可能由于当前基准测试中小模型的性能饱和而被掩盖。同时,大型模型通过大规模预训练在这些场景中展现了强大的威力。随着大型语言模型的持续发展,大模型在少样本泛化(few-shot generalization)、可扩展性(scalability)和任务通用性(generality)方面展现出前所未有的能力,而这是时间序列模型所不具备的。原创 2024-03-13 18:41:50 · 1438 阅读 · 0 评论 -
AI论文速读 | 【综述】城市计算中跨域数据融合的深度学习:分类、进展和展望
随着城市的不断发展,城市计算通过利用不同来源(例如地理、交通、社交媒体和环境数据)和模态(例如时空数据,视觉和文本模态)的跨域数据融合的力量,成为可持续发展的关键学科。最近,看到利用各种深度学习方法促进智慧城市跨域数据融合的上升趋势。为此,提出了第一篇综述——系统地回顾了为城市计算量身定制的基于深度学习的数据融合方法的最新进展。具体来说,首先深入研究数据视角,以理解每种模式和数据源的作用。其次,将该方法分为四个主要类别:基于特征、基于对齐、基于对比和基于生成的融合方法。原创 2024-03-07 18:54:57 · 1193 阅读 · 0 评论 -
AI论文速读 | TimeXer:让 Transformer能够利用外部变量进行时间序列预测
最近的研究已经展现了时间序列预测显着的性能。然而,由于现实世界应用的部分观察性质,仅仅关注感兴趣的目标,即所谓的内部变量(endogenous variables),通常不足以保证准确的预测。值得注意的是,一个系统通常被记录为多个变量,其中外部序列可以为内部变量提供有价值的外部信息。因此,与之前成熟的多元或单变量预测不同,本文要么平等地对待所有变量,要么忽略外部信息,而本文重点关注一个实际场景,即**外部变量(exogenous variables)**的时间序列预测。原创 2024-03-05 13:05:20 · 2886 阅读 · 2 评论 -
AI论文速读 | 大语言模型作为城市居民——利用LLM智能体框架生成人类移动轨迹
本文介绍了一种使用大型语言模型(LLM)集成到智能体框架中的新颖方法,以实现灵活高效的个人移动性生成。LLM通过有效处理语义数据并提供对各种任务建模的多功能性,克服了以前模型的局限性。本文的方法解决了将LLM与现实世界城市交通数据结合起来的迫切需求,重点关注三个研究问题:将LLM与丰富的移动数据结合起来,制定可靠的移动生成策略,以及探索LLM在城市交通中的应用。原创 2024-03-05 12:56:29 · 1204 阅读 · 0 评论 -
AI论文速读 | 立场观点:时间序列分析,大模型能告诉我们什么?
时间序列分析对于理解各种现实世界系统和应用程序固有的复杂性至关重要。尽管大型语言模型(LLM)最近取得了重大进展,但配备时间序列分析功能的通用人工智能(AGI)的发展仍处于起步阶段。大多数现有时间序列模型严重依赖领域知识和广泛的模型调整,主要关注预测任务。本文认为当前的LLM有可能彻底改变时间序列分析,从而促进高效的决策并朝着更通用的时间序列分析智能形式迈进。这种进步可以释放广泛的可能性,包括模态转换和时间序列问答。原创 2024-02-29 22:46:33 · 958 阅读 · 0 评论 -
AI论文速读 | STG-LLM 大语言模型如何理解时空数据?
这篇论文介绍了STG-LLM(Spatial-Temporal Graph-Large Language Model),一种创新的方法,旨在利用大型语言模型(LLMs)进行时空预测。问题背景论文指出,尽管LLMs在自然语言处理和计算机视觉等领域表现出色,但将它们应用于时空预测任务仍然面临挑战,主要是因为文本数据与时空数据之间的差异。STG-LLM方法为了解决这一问题,论文提出了STG-LLM,它包含两个关键组件:STG-Tokenizer和STG-Adapter。原创 2024-02-25 20:19:24 · 1480 阅读 · 0 评论 -
AI论文速读 | 【综述】(LLM4TS)大语言模型用于时间序列
大型语言模型 (LLM) 在自然语言处理和计算机视觉等领域得到了广泛应用。除了文本、图像和图形之外,LLM还具有分析时间序列数据的巨大潜力,使气候、物联网、医疗保健、交通、音频和金融等领域受益。这篇综述论文对利用LLM进行时间序列分析的各种方法进行了深入的探索和详细的分类。强调了法学硕士原始文本数据训练与时间序列数据的数值性质之间差距的固有挑战,并探索将LLM知识迁移和蒸馏到数值时间序列分析的策略。原创 2024-02-25 14:35:27 · 1868 阅读 · 0 评论 -
AutoTimes:通过大语言模型的自回归时间序列预测器
由于大规模时间序列的可用性有限以及可扩展预训练的探索不足,时间序列的基础模型尚未完全开发。基于时间序列和自然语言相似的顺序结构,越来越多的研究证明了利用大型语言模型(LLM)处理时间序列的可行性。然而,先前的方法可能忽略了时间序列和自然语言对齐的一致性,导致LLM潜力的利用不足。为了充分利用从语言建模中学到的通用token转换,本文提出AutoTimes——将 LLM 重新用作自回归时间序列预测器,这与在不更新参数的情况下获取和利用LLM 是一致的。原创 2024-02-21 16:09:06 · 1543 阅读 · 0 评论 -
AI论文速读 |【综述】深度学习在多元时间序列插补的应用
普遍存在的缺失值导致多元时间序列数据只有被部分观测,破坏了时间序列的完整性,阻碍了有效的时间序列数据分析。最近,深度学习插补方法在提高损坏的时间序列数据的质量方面取得了显着的成功,从而提高了下游任务的性能。在本文中,对最近提出的深度学习插补方法进行了全面的调查。首先,提出了所有调研的方法的分类,然后通过强调这些方法的优点和局限性来对这些方法进行结构化介绍。同时还进行了实证实验来研究不同的方法并比较它们对下游任务的增强。最后,指出了多元时间序列插补未来研究的开放问题。原创 2024-02-19 01:10:16 · 1734 阅读 · 0 评论 -
AI论文速读 | 2024【综述】图神经网络在智能交通系统中的应用
智能交通系统(ITS)在缓解交通拥堵、降低交通事故发生率以及提升城市规划效率等方面扮演着至关重要的角色。但由于交通网络结构的复杂性,传统的机器学习及统计方法正逐渐显得不足以应对这些挑战。随着人工智能时代的来临,深度学习框架在众多领域取得了突破性的进展,并且被广泛认为是解决这些复杂问题的有效手段。特别是自2019年以来,图神经网络(GNNs)因其在处理图结构数据方面的卓越性能,在ITS领域显示出巨大的潜力。目前,众多学者正日益关注GNNs在交通领域的应用,并已取得了一系列显著成果。原创 2024-02-13 18:24:42 · 1628 阅读 · 1 评论 -
AI论文速读 |【综述】城市基础模型回顾与展望——迈向城市通用智能
机器学习技术现已成为智能城市服务进步不可或缺的一部分,在提高城市环境的效率、可持续性和宜居性方面发挥着至关重要的作用。最近ChatGPT等基础模型的出现,标志着机器学习和人工智能领域的革命性转变。它们在情境理解、解决问题和适应各种任务方面无与伦比的能力表明,将这些模型整合到城市领域可能会对智慧城市的发展产生变革性影响。尽管人们对城市基础模型(Urban Foundation Models, UFMs)的兴趣日益浓厚,但这个新兴领域面临着缺乏明确定义、系统评价和通用解决方案等挑战。原创 2024-02-13 11:13:14 · 1065 阅读 · 0 评论 -
【综述】2024 [arXiv] 通用时间序列表示学习
时间序列数据存在于现实世界系统和服务的每一个角落,从天空中的卫星到人体上的可穿戴设备。通过提取和推断这些时间序列中的有价值信息来学习表示,对于理解特定现象的复杂动态并做出明智的决策至关重要。有了学习到的表示,我们可以更有效地进行许多下游分析。在几种方法中,深度学习在从时间序列数据中提取隐藏模式和特征方面展现了卓越的性能,而无需手动特征工程。本文首先基于三个设计最先进的通用时间序列表示学习方法的基本元素,提出了一种新颖的分类法。原创 2024-02-10 18:41:16 · 941 阅读 · 0 评论 -
2024 [arXiv] ST-LLM——时空大语言模型用于交通预测
近期,大型语言模型(LLMs)在时间序列分析中显示出卓越能力。不同于现有模型,LLMs主要通过参数扩展和广泛的预训练在保持其基本结构的同时取得进步。本文提出了一种用于交通预测的空间-时间大型语言模型(ST-LLM)。具体来说,ST-LLM将每个地点的时间步骤重新定义为标记,并融入空间-时间嵌入模块来学习标记的空间位置和全局时间表征。然后,这些表征被融合,为每个标记提供统一的空间和时间信息。此外,我们提出了一种新颖的LLM部分冻结注意力策略,旨在捕捉交通预测的空间-时间依赖性。原创 2024-02-10 18:37:32 · 1426 阅读 · 1 评论