Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook

基本信息

博客贡献人

谷雨

作者

Ming Jin, Qingsong Wen, et al.

标签

大语言模型、预训练基础模型、大模型、时间序列、时空数据、时态数据

摘要

时态数据，包括时间序列和时空数据，在现实世界的应用中极为广泛。这些数据类型记录了动态系统随时间变化的测量值，通常由物理和虚拟传感器产生。对这些数据进行深入分析至关重要，因为它们蕴含着丰富的信息，能够为多种下游任务提供支持。近年来，大语言模型和其他基础模型的快速发展，极大地推动了这些模型在时间序列和时空数据挖掘中的应用。这些方法不仅提升了跨领域模式识别和推理的能力，也为构建能够理解和处理时间数据的通用人工智能奠定了基础。在本研究中，我们对专门为时间序列和时空数据定制或改编的大模型进行了全面的回顾，覆盖了四个关键方面：数据类型、模型类别、模型应用范围和应用领域/任务。我们的目标是为从业者提供必要的知识，以便在这一新兴领域开发应用程序并进行进一步研究。我们将现有文献主要分为两大类：针对时间序列分析的大模型（LM4TS）和时空数据挖掘的大模型（LM4STD）。在这一基础上，我们根据模型的应用范围（通用或特定领域）和应用领域/任务对研究进行了进一步的分类。此外，我们还提供了一系列全面的资源，包括数据集、模型资产和实用工具，这些资源都按照主流应用进行了分类。本次调查汇总了以大模型为中心的时间序列和时空数据研究的最新进展，突出了坚实的理论基础、当前的研究进展、实际应用案例、丰富的资源以及未来的研究方向和机会。

1 介绍

大语言模型（LLM）和预训练基础模型（PFM）在自然语言处理（NLP）、计算机视觉（CV）以及众多跨学科领域中取得了显著的成功。这些模型最初被设计用于处理各种自然语言任务，例如文本分类、问答和机器翻译。然而，它们从大规模文本语料库中学习到的复杂语义和知识表示能力，已经极大地激发了研究社区的兴趣。例如，GPT-3模型拥有1750亿个参数，展现出了前所未有的少样本学习和零样本学习能力，这是其前身GPT-2所不具备的。另一个例子是PaLM模型，它拥有更多的参数，并在语言理解、一般推理乃至代码相关任务中表现出色。LLM的迅速崛起不仅推动了PFM的发展，也重新定义了深度神经网络、自监督学习和迁移学习的研究格局。视觉语言模型（VLMs）的出现，就是这一趋势的突出例子，它们能够对视觉和文本数据进行推理，并在图像分类、视觉问答和常识推理等任务中取得了有希望的结果。此外，大模型的影响力已经扩展到音频和语音分析等其他领域，涵盖了广泛的模态和任务。鉴于大模型在这些领域的显著成就，一个自然的问题是：它们是否能够有效地应用于分析时间序列和时空数据？

时间数据主要由时间序列和时空数据组成，它们在地球科学、交通、能源、医疗保健、环境和金融等多个实际应用领域中都扮演着不可或缺的角色。这些数据类型本质上都是时间性的，并且可以来自各种平台，如传感器、金融市场交易、云监控等。将这两个紧密联系的数据类别结合起来进行研究，有助于我们全面理解它们在不同系统中所封装的内在动态。尽管大模型在各个领域都取得了重大进展，但时间序列和时空分析领域的发展却相对落后。传统的分析方法主要依赖于统计模型，而深度学习的出现则激发了研究界探索基于递归神经网络（RNN）、卷积神经网络（CNN）、图神经网络（GNN）和Transformers的更强大的数据驱动模型。尽管这些模型在特定任务上表现出色，但它们在规模上相对较小，缺乏从大规模数据中获取全面语义和知识表示的能力。最近的研究越来越关注自我监督的预训练和迁移学习，这些方法已经取得了有希望的结果，并提高了人们的期望。

在时间序列和时空数据的大模型开发方面，尽管取得了一些进展，但缺乏大规模数据集仍然是一个重大障碍。尽管如此，我们还是看到了在不同任务和领域中成功尝试的数量急剧增加（表2），这证明了大模型在时间数据分析中的潜力。例如，在数据丰富的领域，一些预训练基础模型(PFM)如盘古天气和ClimaX已经彻底改变了全球气候建模，提供了前所未有的准确性和计算效率。在城市计算领域，TFM致力于交通基础模型的开发。Valley、LAVILA和mPLUG-2等基础模型则在时空视频理解方面有着广泛的应用。在时间序列数据有限的情况下，Vocie2Series提出了一种直接对现有基础模型进行重新编程的方法，以进行时间序列分类。PromptCast和OFA则是利用LLM进行一般时间序列分析的早期尝试。最近的一项工作Time LLM通过重新编程时间序列和整合自然语言提示，释放了现成LLM的全部潜力。其他显著的贡献包括NYUTron和GatorTron，这两个大临床语言模型在医疗事件预测方面显示出有希望的结果。尽管取得了这些重大进展，但将大模型整合到时间序列和时空数据分析中仍然面临着独特的挑战（详见第7节），需要进行重点调查。

表2 为时间序列和时空数据建模量身定制的语言和相关预训练基础模型（即 LLM 和 PFM）的摘要。对于不局限于特定域和任务的通用方法，第四列标记为“-”。

在本文中，我们通过统一、全面和最新的审查，满足了对时间序列和时空数据分析的大模型进行深入研究的需求。我们的审查涵盖了不同数据类别、模型范围、应用领域和代表性任务的LLM和PFM。通过将时间序列和时空数据的分析方法结合起来，我们不仅能够让从业者探索这两个领域之间的协同作用和共性，还能促进思想的交叉传播，从而产生利用一个领域的优势来应对另一个领域挑战的创新方法，并促进对时间数据大模型的更全面和相互关联的理解。我们的贡献总结如下：

• 首次全面且最新的调研：据我们所知，这是首次对大模型在时间序列和时空数据分析领域的最新进展进行全面回顾的论文。我们提供了一个详尽且更新的概述，不仅覆盖了该领域的广泛性，还深入探讨了各种方法的细节，使读者能够全面而深入地理解这一主题。

• 统一且结构化的分类系统：我们提出了一种统一且结构化的分类方法，将现有研究归纳为两大主要类别：时间序列的大模型（LM4TS）和时空数据的大模型（LM4STD），并按照数据类型进行组织。在每个类别中，我们进一步根据模型类型细分为LLMs和PFMs两个子组。随后，我们根据模型的应用范围、领域以及特定任务进行了更细致的分类。这种多维度的分类方法为读者提供了一个清晰的框架，以便从不同角度理解这一领域。

• 丰富的资源汇总：我们汇集并总结了该领域的众多资源，包括数据集、开源实现和评估基准。此外，我们还概述了相关大模型在不同领域的实际应用案例。这一汇编为未来的研究和开发提供了宝贵的参考和出发点。

• 未来研究方向的展望：我们识别并讨论了未来研究的多种有前景的方向，涵盖了数据来源、模型架构、训练和推理范式等多个视角，以及其他潜在的机遇。这一讨论不仅让读者对当前领域有了细致的了解，也突出了未来研究的可能路径。

相关调查和差异。尽管已有几项从不同视角对时间序列和时空数据建模的广泛研究，但至今尚无研究集中探讨这些领域内大模型的兴起和应用。例如，Zhang等人和Deldari等人主要集中于时间序列中自我监督学习的最新进展。而像G. Jin、M. Jin等人的研究则在时间序列和时空数据的背景下对图神经网络（GNNs）进行了全面的回顾。最近，Ma等人提出了一项专注于时间序列中预训练和迁移学习的调查，这与我们的研究密切相关。然而，他们的研究并未特别关注大模型，同时也没有涵盖时空数据。鉴于大模型的快速发展，目前有大量文献阐明了大语言模型（LLMs）、和预训练基础模型（PFMs）的基本原则和开创性工作。但在这些作品中，明显缺少对大模型在处理时间序列和时空数据等时态数据方面的潜力的讨论。与视觉、音频和地球科学等领域大模型的显著增长相一致，我们的目标是在本文中对为时间序列和时空数据分析量身定制的大模型进行全面且最新的综述。我们的目的不仅是记录最新的进展，而且还要关注可用资源、实际应用和未来的研究方向。表1概括了我们的调查与其他类似评论之间的区别。

表1  本调查与其他相关调查之间的比较，重点关注领域（即特定与一般）、相关模式（例如，时间序列、时空图（STG）、时间知识图（TKGs）和视频）以及主要关注领域（即小规模预训练和微调（P&F）、大语言模型（LLMs）和预训练基础模型（PFMs）

论文结构。本文的其余部分安排如下：在第2节中，我们为读者提供了关于大模型、时间序列以及时空数据的基础知识，同时介绍了这些领域的相关任务。第3节则从宏观角度介绍了我们在时间序列和时空数据分析背景下对大模型的统一分类方法，为读者提供了一个全面的概述，为后续深入探讨具体方法奠定基础。第4节和第5节则详细阐述了这些方法的复杂性和细节。第6节总结了我们整理的与时间序列和时空数据分析的大模型相关的广泛资源和实际应用案例。第7节探讨了该领域未来研究的多种有前景的方向。最终，我们在第8节中对本文进行了总结。

2 背景

本文的核心在于回顾近年来大模型在解决时间序列和时空数据任务方面的最新进展。我们特别关注了两大类主流的大模型：大语言模型（LLMs）和预训练基础模型（PFMs）。在本节中，我们首先对这两种模型进行了介绍，并探讨了它们之间的差异与联系。为了帮助读者更直观地理解，我们在图2中提供了一个大模型发展的简要路线图，这不仅概述了它们的历史轨迹，还突出了主要的研究焦点。随后，我们对时间序列和时空数据进行了定义，并讨论了它们在各个领域的典型应用和任务。

图2 具有代表性的大语言模型路线图（左）和其他基础模型（右）

2.1 大语言模型

语言建模是许多自然语言处理任务的基石，而大语言模型（LLMs）最初是为了提升语言建模的性能而设计的。与传统的神经语言模型（NLMs）和小型预训练语言模型（PLMs）相比，LLMs以其强大的上下文学习能力而著称，能够解决复杂的任务，并且已经改变了我们使用人工智能的方式。近年来，随着多模态大语言模型（MLLMs）的发展，LLMs的应用范围已经远远超出了传统的自然语言处理任务，这些任务对于较小的PLMs来说往往难以处理。根据LLMs在时间序列和时空数据建模方面的应用，我们可以将它们分为两大类：嵌入可见的LLMs和嵌入不可见的LLMs。前者通常是开源的，允许访问其内部状态，例如Bloom、CamemBERT、Alpaca、Llama和Falcon等模型。这些模型通常可以针对不同的目标任务进行微调，展现出了在少样本和零样本学习场景下的潜力，而无需进行额外的重新训练。后者，如PaLM、ChatGPT1和GPT-4，通常是闭源的，不提供公开的内部状态，它们通常通过API调用中的提示来进行推理。这些模型对于特定的任务和应用场景非常有用，但可能需要更多的定制化开发。LLMs的发展简史和分类在图2的左侧部分有所展示，提供了对这些模型演进和当前状态的直观理解。

在见证了多模态大语言模型（MLLMs）的巨大成功后，我们的主要兴趣之一是探索如何将大语言模型（LLMs）应用于解决时间序列和时空数据分析的任务。这通常可以通过两种主要方法实现：多模态重构（multimodal repurposing）和基于API的提示（API-based prompting）。多模态重构方法通常涉及将目标任务与预训练（源）任务中的不同模态对齐，以激活嵌入可见LLM的任务相关能力。这种方法与LLM的微调技术（例如适配器调谐和低秩自适应）以及模型重编程密切相关，具体取决于LLM在适应过程中是进行微调还是保持冻结状态。这种方法允许LLM更深入地理解和处理特定的任务需求。另一方面，基于API的提示方法则更为直接。它将目标模态转化为自然语言提示，并输入LLM进行生成推理。这种方法类似于语言模型即服务（LMaaS）的黑盒调优，简化了模型的使用过程，使其更易于集成到不同的应用中。有证据表明，这两种方法都具有适用性，并在不同领域的各种目标任务中显示出有希望的结果。这包括对时间序列和时空数据的学习，它们在金融预测、交通分析、环境监测等多个领域都展现出了显著的潜力。通过这些方法，LLMs能够更有效地处理复杂的时间依赖性和空间关系，为相关领域的研究和应用提供了新的可能性。

2.2 预训练基础模型

预训练基础模型（PFM）指的是那些经过大规模预训练，能够适应并解决各种下游任务的模型。虽然大语言模型（LLM）和多模态大语言模型（MLLM）本质上也属于PFM的范畴，但它们更常被用于处理与自然语言相关的任务。PFM代表了一类更广泛的模型，它们不仅具有强大的涌现能力（emergent capabilities），还具有同质化（homogenization）的特点，这使得它们能够有效地应对各种不同的任务。这种能力与那些专为特定任务设计的模型有很大的不同。PFM的能力主要体现在以下三个关键维度：

模态桥接：PFM能够整合和处理多种类型的数据模态，如文本、图像、声音等，从而在不同模态之间建立联系。

推理和规划：PFM具备复杂的推理和规划能力，能够理解和预测复杂的事件序列，进行决策和规划。

互动：PFM还能够与环境或其他系统进行有效的互动，这在需要实时响应和交互的应用中尤为重要。

这些特性使得PFM在构建全面的人工智能系统中扮演着关键角色，它们能够跨越单一任务的限制，提供更为灵活和广泛的应用潜力。

第一个方面涉及多模态模型，例如多模态大语言模型（MLLMs），它们在统一不同模态的语言和视觉方面取得了显著的成果。例如，CLIP最初旨在连接图像和文本，而SAM则将文本提示的概念扩展到视觉提示。最近，像NExT-GPT这样的研究进一步拓宽了这一领域的边界，甚至允许多种不同模态的整合。可以预见的是，现实世界中的数据往往是多模态的。例如，在临床医学中，时间序列和时空数据常常涉及心电图（ECG）数据和医疗事件。这种多模态特性激发了近年来对多模态时间序列和时空数据研究的兴趣。图2（右）提供了预训练基础模型（PFMs）的简要发展路线图，其中视觉语言模型（VLMs）仍然是该领域最热门的研究主题。然而，其他与时间序列和时空数据相关的PFMs也在逐渐涌现，尽管它们大多仍处于发展的早期阶段。这种多模态的整合不仅在理论上具有重要意义，而且在实际应用中也显示出巨大的潜力，特别是在需要处理复杂数据和进行跨领域推理的场景中。随着技术的进步，我们可以期待未来会有更多创新的多模态模型出现࿰