综述 | 一文看懂生成式时序表示与时序大模型

时间序列数据在各个领域都普遍存在，使得时间序列分析变得至关重要。传统的时间序列模型是任务特定的，具有单一的功能和有限的泛化能力。最近，大型语言基础模型揭示了它们在跨任务迁移性、零次/少次学习和决策可解释性方面的出色能力。这一成功引发了人们探索基础模型以同时解决多个时间序列挑战的兴趣。

目前主要有两条研究路线，即从头开始为时间序列预训练基础模型和将大型语言基础模型适应于时间序列。它们都促进了高度可泛化、多功能且易于理解的时间序列分析统一模型的发展。

本综述提供了一个3E分析框架，用于全面审查相关研究。具体来说，研究者从三个维度（即有效性、效率和可解释性）来考察现有工作。在每个维度中，重点讨论了相关工作如何通过考虑时间序列领域的独特挑战来设计定制解决方案。此外，研究者还提供了一个领域分类法，以帮助关注者跟上特定领域的进展，并介绍了促进该领域发展的广泛资源，包括数据集、开源项目和时间序列库。

【论文标题】A Survey of Time Series Foundation Models: Generalizing Time Series Representation with Large Language Model

【论文地址】https://arxiv.org/abs/2405.02358

【资源库】https://github.com/start2020/Awesome-TimeSeries-LLM-FM

论文概述

在过去的几十年里，机器学习和深度学习在各个领域都取得了显著的进展，特别是在计算机视觉（CV）和自然语言处理（NLP）方面。与统计方法不同，这些方法能够以更自动化的方式处理更大、更多样化的数据集，减少了人力投入和专业知识需求。这些技术引入了能够检测更复杂模式的复杂架构，引起了时间序列社区的极大兴趣。因此，针对不同时间序列建模需求，出现了多种具有不同主干的有效架构，包括RNNs、CNNs、GNNs、Transformers和Diffusion模型。

尽管这些强大的架构已将时间序列分析推向了新的高度，但该领域仍面临一些未解决的挑战：

第一个挑战是知识可迁移性。时间序列数据具有季节性和趋势性，同时包含随机性或噪声。由于分布偏移，这些特征在不同领域或同一领域的不同时间可能差异显著，增加了模型或时间序列表示迁移的难度。

第二个挑战与数据稀疏性有关。传统时间序列数据集因按日、月或年收集而稀疏，且受隐私限制，如心电图分类数据获取困难。数据稀缺性限制了深度学习模型的有效训练，现有数据集往往不足以支持高质量模型学习。

第三个挑战与多模态学习有关。在多模态时间序列分析中，整合不同模态数据可提升模型性能和可解释性。例如，股票走势预测中整合社交媒体信息可提高预测精度。但将不同频率或间隔的多模态数据对齐以反映时间关系具有挑战性，且不同模态需不同技术捕获信息，整合这些信息至连贯模型复杂。

最后，可解释性也是高度需要的。模型生成预测或识别模式的详细解释能显著提升时间序列的效用和可接受性。例如，公用事业公司需向监管机构和消费者证明其能源需求预测模型的决策合理性。然而，现有时间序列模型多为黑盒，缺乏对模型行为或预测的解释。
已经有一些努力来解决上述挑战，例如时间序列的迁移学习，时间序列数据增强，多模态时间序列分析和可解释的时间序列人工智能。然而，这些工作大多集中在个别挑战上。此外，模型还应展示出无缝整合来自不同模态的数据的能力，并为其决策过程提供可理解的解释。

受到大型语言基础模型在各种下游任务中的强大泛化能力的吸引，一个主要得研究方向是将大型语言基础模型（即LLM）应用于时间序列任务。大型语言基础模型在跨任务泛化、零样本/少样本学习和推理方面的优势可以解决时间序列分析中的知识转移、数据稀缺和可解释性等挑战。

图1 基础模型已在时间序列分析的各种任务和领域中得到应用

本次调查对时间序列基础模型的进展进行了深入分析。该综述以图2中的四个研究问题为指导，涵盖三个分析维度（即有效性、效率、可解释性）和一个分类（即领域分类）。

图2 四个研究问题及其对应的内容和章节

(1) 如何在时间序列分析的背景下有效地适应基础模型？

研究者将相关工作分为两类：从头预训练时间序列基础模型和将LLM适应于时间序列。对于前者，讨论了数据收集与对齐、架构设计。对于后者，确定了嵌入可见和文本可见两种适应范式，并探讨了LLM的利用、时间序列提取和多模态数据融合。时间序列提取涉及获取适当表示、对齐空间、识别属性和模式等挑战。此外，LLM的多样化角色进一步提升了适应的有效性。

(2) 如何高效地为时间序列任务预训练或微调基础模型？

鉴于该领域正在兴起，当前的高效技术是从NLP领域借鉴的。因此，研究者首先简要概述了可应用于该领域的NLP领域的尖端高效方法。进而讨论了不同微调范式下的效率，并总结已在使用的高效方法。

(3) 如何在时间序列应用中获取基础模型行为或决策的可解释性？

模型的实际部署需要可解释性。研究者首先探索了AI中可解释性的概念，强调了全局和局部解释。然后，回顾并提炼了现有研究中可解释性的进展。

(4) 基础模型在每个时间序列应用领域的进展是什么？

为了回答这个问题，研究者引入了一个领域分类法。这个分类法能够比较每个领域内现有研究的目标、贡献和局限性。此外，论文中还提供了丰富的资源，如代码、基准数据集、时间序列库和加速LLM的工具，以支持未来的研究工作。

图3 在四个研究主题下对所调查工作的分类

该综述的章节安排如下：

第2节 介绍关于基础模型和时间序列分析的相关综述
第3节 提供基础模型和时间序列任务的基础知识。
第4节 深入探讨为时间序列预训练基础模型的关键阶段。
第5节 考察LLM（大型语言模型）适应于时间序列任务的方法。
第6节 讨论模型微调和推理的效率。
第7节 总结关于解释模型行为或决策的研究。
第8节 介绍每个领域内的进展。
第9节 提供资源，包括基准数据集、代码、时间序列库和LLM工具。

由于篇幅受限，本文仅着重分享第4-7节综述内容，感兴趣的朋友可以自行阅读论文原文，了解更多细节。

预训练基础模型的关键阶段

基础模型（foundation model）是指在大规模、多样化数据集上训练后，通过微调适应多种下游任务的模型。这些模型源自深度学习，结合了自我监督学习和迁移学习，随着规模增大，展现出强大的零次/少次学习及链式思考推理能力，尤其在NLP和CV领域表现突出。

传统时间序列分析因数据不足，难以训练复杂模型，因此社区期待基础模型能在有限数据上展现优异性能。尽管NLP和CV领域的基础模型发展迅速，但基于时间序列的基础模型较少，主要因数据集规模小。不过，已有如ForecastPFN、TimeGPT等模型出现，表2提供了这些模型的比较。本节还探讨了影响基础模型有效性的关键阶段，如数据处理和架构设计。

01、数据处理

（1）数据收集

大型语言模型（LLMs）的泛化能力得益于大规模、高质量的文本预训练。同样，时间序列分析中，广泛且高质量的数据对构建有效基础模型至关重要。本研究回顾了数据收集实践，包括数据拆分、源和规模、增强及质量。

数据拆分：在构建遵循标准协议的基础模型时，预训练数据集被分为训练集和验证集。在微调阶段，模型会接触到在预训练阶段未见过的目标数据集，每个数据集进一步被拆分为训练集、验证集和测试集。

数据源和规模：在现有的时间序列预测基础模型中，Lag-Llama在Monash时间序列仓库上预训练，GTT收集了180,000个时间序列，TimesFM选择Google趋势等数据源，TimeGPT构建了超过1000亿数据点的仓库，但未公开。
数据增强：为了扩大预训练数据集，现有工作采用了各种数据增强技术。Lag-Llama 使用 Freq-Mix 和 Freq-Mask 来生成更多的训练样本以防止过拟合。TimeCLR 采用了数据增强技术（例如抖动、时间扭曲、裁剪）来生成更多数据，使模型对扭曲、不同的噪声类型等具有不变性。ForecastPFN 不是在真实世界的数据上进行预训练，而是在完全合成的数据分布上进行预训练。
数据质量：数据质量对于确保模型的有效性至关重要。时间序列数据中常见的挑战包括缺失值、噪声和异常值。为了消除可能导致梯度爆炸的多样异常值，ForecastPFN 首先掩盖缺失值，然后裁剪所有 3σ 异常值。类似地，GTT 通过消除归一化值超过 9 的数据点来消除极端异常值。
总的来说，除了 GTT 的内部来源，当前研究中使用的时间序列数据主要是公开的。在数据量方面，TimeGPT 迄今为止已经汇集了最大的时间序列数据仓库，尽管它仍然无法公开访问。

（2）数据对齐

基础模型在多个异构数据集上预训练，需对齐和平衡以增强泛化能力。时间序列数据的处理面临值范围可变性的挑战，传统缩放方法不适用。GTT和Lag-Llama采用特定样本归一化技术提升模型便利性。GTT通过固定通道数和上下文长度处理多通道数据，而TimesFM使用可变上下文长度实现数据平衡。模型对齐的关键措施包括值缩放、处理输入输出长度变化、管理多通道数据和实施平衡采样，这些对稳定训练和防止性能下降至关重要。

02、架构设计

本节探讨了影响基础模型架构的关键因素，包括骨干模型选择、变压器变体及输入标记化策略。所有研究均采用变压器作为骨干，但变体各异，各有优劣。讨论还涉及了如何处理时间序列数据的通道设置，以适应变压器对标记输入的设计。

（1）基础模型的骨干
深度学习模型，尤其是变压器，因其并行化优势和参数扩展能力，成为大型语言模型（LLM）的首选骨干。在时间序列分析中，TimeCLR比较了多种模型，发现变压器表现最佳。TimesFM和Lag-Llama也强调了变压器在处理不同长度数据和提取历史信息方面的优势。尽管有其他架构如PatchTST、N-BEATS、Transformer++和State-Space Models的提出，但变压器仍是现有基础模型的共同选择，其差异主要体现在变压器模式、输入标记化和预测对象上，包括Transformer++和State-Space Models。

（2）变压器模式
变压器模型包括编码器和解码器，有三种模式：仅编码器（如BERT）、仅解码器（如GPT系列）和编码器-解码器（如BART和T5）。仅解码器模型在零样本和少样本学习中表现出色，GPT-3是典型例子。仅编码器模型适合处理整个输入序列的任务，如分类和情感分析，而解码器模型适用于顺序生成任务，如文本生成。编码器-解码器模型因其输入输出分离在复杂任务中占优。GTT和ForecastPFN为时间序列预测开发了仅编码器模型，而TimesFM和Lag-Llama选择解码器模式。TimeGPT采用编码器-解码器模式以处理复杂数据。

（3）通道设置
与时间序列基础模型的架构设计相关的另一个问题是通道设置，具体是通道独立性和通道混合。通道独立性指的是接受单变量序列输入，而通道混合涉及利用多变量序列输入。这些不同的通道设置导致时间序列的不同标记化方法，并需要不同的模型设计。

通道独立性：通道独立性涉及单变量序列输入，而通道混合则利用多变量序列输入。单变量模型设计相对简单，因为多变量数据的通道数可能变化。多数研究倾向于使用通道独立性，通过不同的技术如PatchTST、TimesFM、Lag-Llama和TimeCLR将单变量序列转换为向量序列。
通道混合。 通道混合则关注多变量序列中不同通道间的关系，如GTT模型通过重塑通道变量为批量大小来处理多变量输入。
LLM 适用于时间序列任务的方法

图4 有两种时间序列的LLM适应范式：（a）嵌入可见的LLM适应，通过重新设计LLM直接感知时间序列嵌入来适应时间序列任务。（b）文本可见的LLM适应，通过以句子对句子的方式制定时间序列的输入-输出来适应时间序列任务。

这两种范式在输入-输出方式、LLM利用和数据融合上有所不同。LLM不仅用于预测，还可作为增强器、数据生成器和解释器，扩展了其在多种应用中的功能。本节将介绍关键概念，分析各范式的关键阶段，并探讨LLM在时间序列问题中的多重角色。

01、嵌入可见的LLM调整

嵌入可见的LLM调整利用传统的 “预训练和微调” 范式重新设计LLM，并将其微调用于下游时间序列任务。在这个范式下，LLM被重新设计为直接感知时间序列嵌入，而不是传统的文本输入。

（1）向量化的时间序列表示
在时间序列分析中应用LLM时，首先需将时间序列数据转换为LLM可处理的向量序列。在嵌入可见的LLM调整中，时间序列被向量化，LLM被重新设计以直接感知这些时间序列嵌入。受Transformer模型分块策略的启发，研究者将时间序列切分为固定长度的块，作为LLM的输入标记，以保留局部语义信息。对于多变量时间序列，常分解为单变量序列后进行分块处理。然而，TEST模型在通道混合设置下处理时间序列，强调不应忽视跨变量的依赖关系。

（2）时间序列和LLM之间的语义空间对齐
时间序列转换为向量序列后，需解决与LLM认知嵌入空间的模态差距。研究者通过重新设计输入嵌入层并在特定数据集上微调LLM，以对齐时间序列与LLM的维度空间。Time-LLM和TEST等研究使用文本原型重新编程嵌入，通过对比学习和多头注意力层，使时间序列特征与语言元素对齐，以增强LLM对时间序列的理解。

（3）时间序列的特性和模式识别
时间序列与自然语言在模式和属性上有本质差异，这给LLM应用于时间序列任务带来挑战。时间序列的独特特征包括多变量依赖、分布偏移和复杂时间模式。尽管基于Transformer的模型在某些任务中表现出色，但它们可能忽视时间序列的独特属性，如趋势和季节性。研究表明，时间序列Transformer在鲁棒性上可能不如其他模型，且LLM在预训练阶段缺乏识别时间序列特性的能力。因此，在应用LLM于时间序列分析时，考虑这些特性至关重要。

时间模式：TEMPO方法将单变量序列分解为趋势、季节和残差，简化了LLM的预测，并通过可学习的提示池编码共享时间模式。分解后的部分经过归一化、补丁化和嵌入，与提示一起输入GPT模块。实验验证了分解和提示池的有效性。AuxMobLCast在编码器-解码器架构中加入辅助POI分类模块，以识别与不同POI类别相关的访问模式，消融研究显示此模块显著提升了BERT编码器的性能。
多变量依赖性：时间序列数据常为多变量，如股票价格和ECG数据，而文本是单变量的。许多研究将LLM调整为处理多变量时间序列，但TEST指出通道独立性方法忽略了多变量依赖性。TEST直接处理多变量时间序列，将其切片成不同长度的标记，输入编码器生成时间嵌入，以捕捉变量间的相互依赖。
时间戳信息：研究表明，在基于Transformer的模型中加入时间戳信息，如在疾病预测和交通流量预测中，能提升模型性能。LLM4TS为每个时间序列补丁分配初始时间戳，编码时间属性并融合成时间嵌入，与标记和位置嵌入结合生成最终嵌入。
分布偏移：FPT和TEMPO采用反向实例归一化（RevIN）对单变量输入序列进行归一化，以减轻分布偏移并促进知识传递。然而，LLM4TS指出RevIN的可训练仿射变换不适用于自回归模型如GPT-2，因此在监督微调阶段使用标准实例归一化。
（4）多模态数据融合
多模态学习在NLP和CV领域广泛研究，如视觉问答和图像-文本生成。时间序列分析中也存在多模态场景，如金融和医疗数据集可能包含文本或图像信息。时间序列数据的抽象性使得语义挖掘和知识传递具有挑战性，但通过多模态信息补充可以增强模型对复杂时间模式的学习，提升表示能力、泛化能力和可解释性。受多模态LLM成功的启发，研究者设计了用于时间序列分析的多模态模型，根据信号粒度分为两类。

（5）样本级多模态融合

研究者利用多模态信号如文本报告来丰富时间序列样本的细节，增强内部知识。METS结合ECG信号与临床报告，使用ClinicalBert模型提取诊断知识，指导ECG编码器训练。TEMPO则结合季度新闻和报告，预测财务指标，并利用时间嵌入和软提示提取摘要信息。这些方法通过多模态信息提升时间序列分析的深度和准确性。

（6）任务级多模态融合

另一研究方向利用多模态知识提升模型泛化能力和跨数据集知识传递，涉及任务或领域级别。UniTime通过领域指令帮助模型识别数据源并调整预测策略，指令以句子形式包含领域知识，与时间嵌入融合。Time-LLM采用Prompt-as-Prefix技术，使用包含领域知识、任务指令和数据统计的提示增强时间序列表示，促进LLM的推理和模式识别。

（7）微调
微调预训练的LLM对于其在特定任务中的应用至关重要，涉及重新配置输入/输出层和目标函数。UniTime通过完全微调GPT-2在跨领域时间序列预测中取得最佳性能，但全参数更新可能导致灾难性遗忘和资源需求增加。为解决这些问题，研究如FPT、TEMPO和LLM4TS采用部分参数更新，而TEST和TimeLLM则使用冻结LLM结合可学习软提示。这些方法旨在减少参数更新，同时保持性能，并需对齐时间序列嵌入与LLM文本空间。此外，通过识别时间模式和整合多模态信息，进一步增强LLM在时间序列分析中的能力。

02、文本可见的LLM调整

文本可见LLM调整遵循 “预训练、提示和预测” 的范式，重新设计时间序列任务，并利用提示技术激活LLM的能力。在这个范式下，时间序列任务的输入-输出对被重新构造为文本提示。

（1）文本化的时间序列表示
在文本可见的LLM调整中，时间序列数据被转换为字符串，以便与提示无缝集成。研究者使用LLM直接推断任务，无需微调，通过句子对句子格式化任务。数值数据被描述为自然语言句子，并结合上下文信息。对于特定任务，如人类移动性预测、健康任务和天气预测，LLM被微调，并以自然语言形式制定任务。

（2）时间序列和LLM之间的语义空间对齐
在将时间序列转化为句子的工作中，LLM通过标记化理解字符串，但原始标记化方法可能不适用于数值，导致连续数值被分割并忽略时间意义，增加算术运算复杂性。LLMTIME建议在标记化前对时间序列进行预处理，如添加空格。提示调整作为一种潜在解决方案，通过添加可训练嵌入优化输入，帮助LLM理解时间序列信息。

（3）时间序列属性和模式识别
与嵌入可见LLM调整下的时间序列特征提取不同，文本可见LLM通过将相关信息集成到提示中来识别时间序列的独特属性和模式。

时间模式。 LLM-Mob指出LLM难以直接从复杂停留数据中提取有用信息进行人类移动性预测，因此提出分解数据为历史和上下文序列，以帮助LLM理解长期和短期移动模式。AuxMobLCast发现POI类别与乘客模式相关，通过集成辅助POI分类模块到编码器-解码器架构中，显著提升了BERT编码器的性能。
跨序列依赖。为了解决股票预测中的跨序列依赖问题，TDML从相似股票中提供大量示例，以创建上下文学习提示，证明LLM能有效整合跨序列信息。LLMST将所有轨迹整合在一个提示中，以观察模型是否能考虑轨迹间交互，发现这可能提升性能。TWSN利用多个历史股票特征，将多元价格特征转化为表格格式的字符串，并整合到文本提示中，用于股票走势预测。
时间戳信息。 UMEF将时间戳信息整合到能源消耗预测模板中。LLM-Mob在人类移动性预测中考虑目标停留时间的时间信息，并通过融入与时间和日期相关的事实引导LLM分析移动模式的变化。AuxMobLCast在移动性提示中包含日期信息，发现删除时间日期信息后性能下降，表明时间戳有助于LLM捕捉时间模式。
（4）多模态数据融合
文本可见的LLM设置中对多模态学习的研究较少。TWSN在样本级多模态数据融合中，结合历史股票价格和推文构建多模态提示，评估ChatGPT在股票走势预测中的能力。任务级多模态数据融合中，任务级信息作为补充添加到提示中，以提升模型性能。

（5）提示
受LLM在NLP中泛化能力的启发，研究者使用提示激活LLM在时间序列任务中的能力，将输入整合到文本提示中，引导LLM生成期望的自然语言输出。提示分为无调参和基于微调两种，前者在零样本/少样本设置下评估性能，无需微调，后者则微调LLM并更新参数。综述中总结了两种方法并讨论了它们的优缺点。

无调参提示：研究者通过设计指令提示，利用LLM的内部知识进行零样本/少样本推理，无需参数更新。TDML优化提示结构，发现零样本CoT提示能显著提升性能。TWSN评估ChatGPT在股票预测中的表现，发现CoT技术虽有提升但不及专门方法。LLMF测试PaLM-24B在健康问题上的零样本性能，发现其在数值任务上表现不佳。LLMST和LLM-Mob通过设计提示评估LLM在移动性异常检测中的性能，强调提示工程的重要性。LLMFS发现PaLM在少样本学习中能处理健康数据，但在零样本设置中性能下降。LLMTIME则表明，通过仔细预处理时间序列，LLM可直接作为零样本预测器，无需额外文本信息。
基于微调的提示：为了克服仅利用LLM固有知识的局限性，一些研究结合了传统微调和提示，更新LLM参数以适应特定时间序列任务。PromptCast采用指令微调进行通用时间序列预测，设计了零样本基于指令的提示，用于天气、能源和客流量预测。UMEF在能源消耗预测中使用无指令微调，将数据转换为描述性句子。AuxMobLCast利用无指令微调进行人类移动预测，结合移动数据、时间戳和POI信息，微调编码器-解码器架构。LLMFS为健康任务设计了基于问题-回答的提示，冻结LLM并添加可学习提示嵌入，以理解不同任务的时间序列数据。这些方法通过微调和提示结合，提升了LLM在时间序列任务中的性能。
总之，利用提示的研究的关键贡献在于它们针对特定的时间序列场景设计了复杂的提示。为了增强提示的有效性，一些研究还整合了额外的信息，如时间序列特征、替代数据模态和专家知识。像连续思维（CoT）这样的技术已经应用于几项工作中，显示出提高模型性能的潜力。

03、进一步讨论：LLM的功能

本节讨论了LLM在当前研究中的多样角色。

表 在研究中使用的 LLM 的功能和骨干

（1）预测器
具体而言，如果LLM主要将时间数据的表示作为输入并产生输出，则被视为预测器。在本小节分析的所有工作中，LLM都被用作预测器，即时间序列任务的核心模块。这些工作之间的差异在于LLM的可调性、时间序列标记化、提示技术以及不同时间序列任务的增强模型设计。更多细节已在前面的小节中介绍过。

（2）增强器
LLM作为增强器，负责从其他模态数据提取高级信息，辅助核心模块预测。METS、TWSN、TEMPO和TimeLLM/UniTime等研究利用文本信息如医疗报告、推文、新闻和领域知识，丰富时间序列数据的表示。增强器LLM通常固定，无需训练或微调，可由专门或通用LLM组成，专门LLM更适合领域特定信息提取。

（3）数据生成器
受LLM广泛知识和强大语言生成能力的启发，研究者利用LLM生成额外数据补充输入。CIGN使用ChatGPT从金融新闻中提取公司信息构建图，用于股票走势分析。TDML利用GPT-4生成公司描述和股票因素，并提取新闻摘要和关键词。TEMPO使用ChatGPT收集公司新闻和报告作为财务预测的上下文信息。LLMs作为数据生成器，能高效生成所需数据，但需注意其生成的数据可能存在不准确性。

（4）解释器
在时间序列分析中，模型行为和预测的可解释性至关重要，尤其是在高风险场景中。尽管LLMs通常被视为黑盒子，但它们在文本生成方面的能力使其能够作为自然解释器，为其决策生成人类可读的解释。通过使用如Chain-of-Thoughts（CoT）等提示技术，LLM可以逐步展示其推理过程，并为预测提供详细解释。LLMST、LLM-Mob、TWSN和TDML等研究利用LLM生成解释，增强模型在异常检测、人类移动预测和股票价格预测等任务中的可解释性。

效率

深度学习中的效率关注计算资源的有效利用，包括计算时间、处理器利用率、内存需求和能源消耗。预训练的时间序列模型和以LLM为中心的模型虽展示强大泛化能力，但伴随资源消耗增加。使用如GPT-3的大型语言模型处理时间序列数据时，训练和推理可能耗时，影响实时应用。时间序列领域的高效方法借鉴自NLP，研究者总结了可转移至时间序列分析的LLM效率技术，并探讨了不同调优范式的效率问题。

01、LLM中的高效技术

大型语言模型（LLMs）因庞大参数规模而面临高计算和内存需求，效率提升贯穿其生命周期。完全微调LLM效率低下，因此采用参数高效微调（PEFT），如适配器、提示调优、前缀调优和低秩适应（LoRA），以减少训练参数并节省资源。这些技术在LLM为中心的时间序列研究中被广泛应用。

适配器。适配器的概念最初是在计算机视觉中提出的，然后被应用于自然语言处理。它在变压器中的注意力和前馈神经网络（FNN）层之后注入小规模神经网络。适配器可能只有不到4个。

提示调优。与添加额外的FFN层的适配器不同，提示调优将可训练张量包装到模型输入嵌入中，通常称为“软提示”。随着模型规模的增大，提示调优变得更加有效，其效率改进的速度快于模型规模的增长。

前缀调优。观察到直接优化提示调优中的软提示在某些情况下不稳定。与将软提示前置到输入层不同，前缀调优将可训练向量（即前缀标记）添加到每个中间层。研究表明，通过仅更新0.1的参数，前缀调优的性能接近完全微调。

低秩适应（LoRA）。受内在SAID的低秩微调思想的启发，LoRA将LLMs的权重矩阵分解为两个低秩矩阵的乘积。在微调过程中，原始矩阵被冻结，而两个低秩矩阵被更新。尽管LoRA是有效的，但它需要在每次迭代中更新LLMs的所有层的低秩矩阵。

需要注意的是，虽然LoRA是一种基于重新参数化的方法，但其余方法都是加法方法。

02、调整中的效率

在本小节中，研究者讨论了将LLM调整为时间序列分析时的效率问题。首先，根据LLM中心架构的更新参数数量，为现有工作提供了一个调优范式分类法。该分类法有三个分支，即无调优范式（不更新任何参数）、完全微调范式（更新LLM骨干的所有参数）和参数高效微调范式（仅更新一小部分模型参数）。

（1）无调优范式
在基于LLM的时间序列解决方案中，直接调用API接口的零调参范式是最高效的策略，如TWSN和TDML使用ChatGPT/GPT-4进行零-shot推理，无需更新参数。这种方法依赖LLM的内在能力和提示工程。但近期研究显示，此策略在某些任务上性能不佳，且API调用成本高。

（2）完全微调范式
由于调参自由范式的性能较差，一些研究选择对LLM进行微调，以适应下游时间序列任务。完全微调策略通常重新设计输入层以编码时间序列数据，并重新设计输出层以适应下游任务。这种策略可以更好地指导LLM在特定的时间序列任务上执行，如AuxMobLCast用于人类移动性预测，UniTime和TEMPO用于通用预测。然而，这通常需要大量计算资源和较长的训练时间，因为它涉及更新大型语言模型的所有参数。

（3）参数高效微调范式
为了平衡效果与效率，研究者采用参数高效微调（PEFT）策略。FPT和TEMPO冻结GPT-2主要参数，重新设计输入层，并使用位置嵌入和LoRA进行微调。LLM4TS引入双阶段微调，包括部分冻结、LoRA和线性探测。TEST和TimeLLM使用完全冻结的LLM，引入软提示和可训练补丁嵌入进行微调。LLMFS在提示中附加软可学习嵌入，以帮助LLM理解时间序列数据。这些方法通过冻结大部分参数并微调少量参数，提高了模型在时间序列任务中的效率和性能。

总之，在TEMPO和LLM4TS中都使用了LoRA。类似地，TEST、TimeLLM和LLMFS都采用了提示调优。然而，在以LLM为中心的时间序列分析中，还没有探索出针对高效架构设计和模型压缩的具体策略。

可解释性

可解释性是人工智能和时间序列领域的重要议题，涉及模型行为和预测能力的透明度。在关键领域如自动驾驶、医疗和金融，可解释性对于用户信任和模型安全至关重要。尽管大型模型复杂，但仍可应用人工智能可解释性方法。本节探讨了大型模型时间序列分析的可解释性内容和方法，总结了现有研究在增强可解释性方面的贡献。

01、人工智能模型的可解释性

尽管决策树等模型因其结构直观而具有天然可解释性，但深度学习模型通常是黑盒，其内部机制不透明。为解决此问题，可解释人工智能（XAI）领域开发方法，使深度学习模型的内部机制或结果对人类可理解。XAI方法分为局部解释（关注特定实例决策推理）和全局解释（揭示模型整体机制）。解释技术分为先验（设计可解释模型结构）和事后（解释模型行为而不改变结构）方法。

02、以LLM为中心的时序模型的可解释性

深入探讨了LLM在时间序列分析中的可解释性，包括局部和全局解释。

（1）全局解释
全局解释旨在理解LLM学到了什么及其如何解释数值时间序列。LLM内部机制不透明，解释其在时间序列中的适应性具有挑战。目前对LLM结构的修改主要关注性能而非可解释性。FPT工作表明，LLM的自注意模块类似PCA，可作为时间序列任务的通用计算器，执行与任务无关的操作。

（2）局部解释
LLM能通过思维链提示生成自然语言解释，提高模型决策透明度。LLMST和LLM-Mob通过提示引导LLM提供检测结果的解释，增强模型推理能力。TWSN和TDML在股票走势预测中使用增强的零样本思维链提示，使ChatGPT和GPT-4提供连贯解释。TEMPO首次对可见嵌入的LLM（GPT-2）进行局部解释，通过广义加性模型衡量不同组成部分的贡献。这些研究表明，LLM能生成有说服力的解释，提升模型在时间序列分析中的可解释性。

总结

在本综述中，研究者调查了时间序列分析的基础模型，包括从头开始预训练的基础模型和为时间序列任务重新定位的大型语言基础模型。论文提供了一个3E分析框架，从效果、效率和可解释性三个关键维度总结相关研究，讨论了在应用基础模型进行时间序列任务时如何解决时间序列挑战。同时，又提供了一个领域分类法，以跟踪每个领域的进展。本综述旨在为时间序列领域的追随者提供一个全面的概念框架，以促进对基础模型的深入理解，并激发未来研究的创新。

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​