时间序列的大模型研究综述-IJCAI

摘要

大型语言模型（LLM）在自然语言处理、计算机视觉等领域有着广泛的应用。超越文本、图像和图形，LLM为时间序列数据分析提供了巨大的潜力，使气候、物联网、医疗保健、交通、音频和金融等领域受益匪浅。本调查文件提供了一个深入的探索和各种方法的详细分类，用于利用的权力，为时间序列分析的LLMs。我们解决了在LLMs的原始文本数据训练和时间序列数据的数值性质之间的差距的内在挑战，并探索了从LLMs到数值时间序列分析的知识转移和提取的策略。我们详细介绍了各种方法，包括（1）直接提示LLM，（2）时间序列量化，（3）对齐技术，（4）利用视觉模态作为桥接机制，以及（5）LLM与工具的组合。此外，本文还对多模态时间序列和文本数据集在不同领域的研究现状进行了综述，并对这一新兴领域面临的挑战和未来的机遇进行了探讨。
（这里的问题还是值得讨论的，毕竟是当前主流问题）

引言

时间序列分析在气候建模、交通管理、医疗保健监测和金融分析等多个领域发挥着重要作用。时间序列分析包括广泛的任务，如分类[Liu等人，2023b]，预测[格鲁弗等人，2023]、异常检测和插补。传统上，这些任务是使用经典的信号处理技术来处理的，例如时频分析和基于分解的方法。最近，深度学习方法，如卷积神经网络（CNNs）、长短期记忆网络（LSTM）[Zhang et al.，2023a]，以及变压器[Jin等人，2023a]在时间序列数据中提取有意义的模式方面取得了显著的进步，成为时间序列分析的主要方法。

近年来，大语言模型（LLM）在自然语言处理（NLP）和计算机视觉（CV）领域得到了广泛的关注。GPT-4等知名模型在文本生成、翻译、情感分析、问答和摘要等任务中提供了前所未有的准确性，从而改变了文本处理的格局。在CV领域中，大型多模态模型（LMM）还促进了图像识别、对象检测和生成任务的进步，从而导致更智能和更有能力的视觉系统[Girdhar等人，2023年]的规定。在这些成功的启发下，研究人员现在正在探索LLMs在时间序列分析领域的潜力，期待进一步的突破，如图1所示。虽然一些调查提供了关于一般时间序列的大型模型的广泛观点[Jin等人，2023 b; Ma等人，2023年]，这些方法并没有特别关注线性回归模型或弥合模态差距的关键挑战，这源于线性回归模型最初是在离散的文本数据上训练的，而不是时间序列的连续数字性质。

我们的调查独特地有助于现有的文献，强调如何弥合这种模态差距和转移知识的LLM时间序列分析。我们的调查还涵盖了更多样化的应用领域，从气候、物联网（IoT）到医疗保健、交通管理和金融。此外，时间序列的某些内在属性，如连续性，自回归性和对采样率的依赖性，也被音频，语音和音乐数据所共享。因此，我们还提出了代表性的LLM为基础的工作，从这些领域，探索我们如何可以使用LLM的其他类型的时间序列。我们通过将这些方法分为五个不同的组来提供一个全面的分类，如图2所示。如果我们将典型的LLM驱动的NLP管道分为五个阶段-输入文本，标记化，嵌入，LLM，输出-那么我们的分类法的每个类别都针对这个管道中的一个特定阶段。具体而言，（一）（输入阶段）将时间序列数据视为原始文本，并直接提示具有时间序列的LLM;（ii）时间序列量化（标记化阶段）将时间序列离散化为LLM处理的特殊标记;（iii）对齐（嵌入阶段）设计时间序列编码器，将时间序列嵌入与语言空间对齐;（iv）视觉作为桥梁（LLM阶段）通过使用视觉表示作为桥梁将时间序列与视觉语言模型（VLM）连接起来;（v）工具集成（输出阶段）采用LLM输出工具以利于时间序列分析。除了这种分类之外，我们的调查还汇编了一个广泛的现有多模态数据集列表，这些数据集包含时间序列和文本。最后，我们讨论了未来的研究方向，在这个新兴的和有前途的领域。

背景和问题表述

大型语言模型的特点是其大量的参数和广泛的训练数据。它们擅长理解、生成和解释人类语言，最近代表了人工智能的重大进步。LLM的起源可以追溯到GPT-2，BERT，BART和T5等模型，这些模型奠定了基础架构。随着时间的推移，这些模型的发展已经以增加的复杂性和功能为标志，例如LLAMA-2，PaLM和GPT-4。最近，研究人员开发了多模态大型语言模型来整合和解释多种形式的数据，如文本、图像和时间序列，以实现对信息的更全面理解。这项调查的重点是如何LLM可以受益于时间序列分析。我们首先定义输入和输出的数学公式，其中可能包含时间序列或（和）文本，具体取决于下游任务以及模型。

输入: 记为$x$，由时间序列${\mathbf{x}}_s\in {\mathbb{R}}^{T\times c}$和表示为字符串的可选文本数据${\mathbf{x}}_t$组成，其中$T$，$c$表示序列长度和特征个数。

**输出.**表示为$y$，根据具体的下游任务，可以表示时间序列、文本或数字。对于时间序列生成或预测任务，$y$表示生成时间序列$y_s$或预测$k$步未来时间序列${\mathbf{y}}_s^{T+1:T+k}$对于文本生成任务，如报表生成，$y$表示文本数据$y_t$。对于时间序列分类或回归任务，$y$表示指示预测类或数值的数字。

模型：我们使用$\theta$参数化的$f_{\theta }$、参数化的$g_{\varphi }$和$\varphi$参数化的$h_{\psi }$来表示语言、时间序列和视觉模型，其中$f_{\theta }$通常从预先训练的大型语言模型初始化。通过损失函数 $\mathbf{L}$