AAAI 2024｜GPT4MTS-多模态时间序列预测的全新提示式大语言模型

最新推荐文章于 2025-03-27 11:01:15 发布

Python_金钱豹

最新推荐文章于 2025-03-27 11:01:15 发布

阅读量1.2k

点赞数 27

文章标签：语言模型人工智能 python 自然语言处理 transformer 深度学习算法

本文链接：https://blog.csdn.net/Python_cocola/article/details/144594864

版权

GPT4MTS: Prompt-Based Large Language Model for Multimodal Time-Series Forecasting

作者:

Furong Jia, Kevin Wang, Yixiang Zheng, Defu Cao, Yan Liu

论文链接:

https://doi.org/10.1609/aaai.v38i21.30383

简介

时间序列预测是机器学习的一个重要领域，具有广泛的实际应用。以前的大多数预测模型旨在从单模态数值历史数据中捕获动态特征。尽管额外的知识可以提高时间序列预测性能，但收集此类信息很困难。此外，如何融合多模态信息也并非易事。在本文中，首先提出了借助现代大语言模型（LLM）从不同数据源收集相应文本信息的一般原则。然后，提出了一个基于提示的LLM框架，可以同时利用数字数据和文本信息，名为GPT4MTS。在实践中，提出了一种基于 GDELT 的多模态时间序列数据集，用于新闻影响预测，它提供了一个简洁且结构良好的时间序列数据集版本，其中包含文本信息，以供进一步的传播研究。通过大量的实验，证明了提出方法在具有文本外信息的预测任务上的有效性。

研究背景

数据中嵌入的复杂模式通常反映了潜在的机制或行为，使得时间序列预测是决策过程中不可或缺的工具。与此同时，在当今信息密集的时代，文本信息的影响范围从个人决策到制定国家指令。然而，由于数据积累不足和资源有限，在设计多模态时间序列数据集方面所做的工作有限。随着大规模语言模型（LLM）的出现，能够通过提出有效的管道和新的时间序列预测任务范式以及数据集来填补这一空白，如图 1 所示，传统数据集仅包含数字信息，而提出的数据集也利用文本信息。

图 1：我们的数据集与传统时间序列数据集之间的差异。

线性预测模型存在一个内在的局限性：它们忽略了文本数据提供的丰富的上下文信息。虽然最近一些工作尝试将语言模型应用于时间序列任务，但这些工作要么将时间序列数据视为文本序列输入，要么将时间序列输入与LLM的文本嵌入对齐。这些方法中很少使用包含时间序列信息和文本信息的多模态输入。

鉴于这些挑战，本文首先在图 2 中引入一个创新的管道，利用LLM的强大功能来生成文本数据以及时间序列数据：文本信息收集、摘要、重新排序、基于高效摘要的关于重新排序相似性。

图 2：基于 GDELT 的数据集数据收集。

论文贡献

提出了一个将文本数据合并到时间序列数据集中的通用管道。此外，根据提议的流程提出了 GDELT 数据集，作为创新流程和方法的实际应用。
使用大量实验来说明基于多模态时间序列数据集的模型的有效性。

方法

方法部分从数据集构建和模型设计两个方面开展介绍。

数据集收集

该数据集源自全球事件、语言和语气数据库 (GDELT) 数据库，该数据库是最大的公开数据库之一，以 100 多种语言监控世界各地的新闻媒体。GDELT 数据库涵盖主要关注事件的各种类型的信息，从而为了解全球社会趋势提供了丰富的变量集。

时间序列数据收集。

数据收集流程的流程如图 2 所示。在特定的 GDELT 数据集中，重点提取与前 10 个流行事件类型 (EventRootCode) 相关的关键信息以及新闻媒体中各自的提及和报道。EventRootCode和事件名称之间的关系可以通过表3查找。具体来说，提取了三个用于预测的关键变量：NumMentions、NumArticles、NumSources。这些变量分别代表提及次数、相关文章数量和来源数量，这些都与特定事件类型在给定时间范围和地理区域内受到的关注有关。将数据集分为 10 种事件根类型，收集美国 55 个地区的数据以及美国的国家数据。目前，用于训练和评估的数据跨度为2022年8月17日至2023年7月31日。

相应的文本数据收集

图 3：生成文本信息的一个示例。

对于文本数据摘要，首先在给定区域和给定日期下为每种事件类型抓取 10 篇文章。然后使用 T5 生成每篇抓取文章的摘要。根据特定事件类型及其解释生成假设的文章摘要，作为该事件类型下可能的摘要的模板。然后根据与假设文章的相似性对摘要进行重新排名，旨在保留与事件类型下的新闻最相关的摘要。最后，使用 OpenAI ChatGPT3.5 API 3 生成前 5 名相关文章摘要的总体摘要。在图 3 中演示了如何为数据集收集文本信息的一个示例。

问题定义

给定一组多元时间序列样本和具有回溯窗口 L 的文本摘要，考虑以下问题：() 其中时间步 t 处的是时间步 t 处的维度为 M 和的向量是文本摘要，希望预测 T 个未来值：( )。

以前的时间序列模型从单模态信息中学习：它们学习函数，使得

其中 θ 是模型的参数。相反，本文模型利用多模态信息：学习一个函数，使得

所提出方法

图 4：模型总体框架。

模型架构如图 4所示。利用预训练 GPT2 模型的参数。为了理解这两种模态的信息，添加了额外的提示层，将时间序列信息和文本信息转换为预训练模型的输入维度。

冻结预训练模型：模型保留了预训练 GPT2 模型中的位置嵌入层和转换器块，同时按照标准实践冻结了注意力层和前馈层，并对位置嵌入和层归一化层进行了微调。

输入嵌入：为了将文本输入和时间序列输入应用于预训练的LLM，需要通过单独的嵌入层准备两种模态。对于文本信息，应用 BERT 嵌入模块作为特征提取器来获取回溯窗口中摘要文本的表示。对于时间序列信息，使用以下操作将时间序列输入拟合到预训练的 GPT2 模型中：

应用可逆实例归一化以减轻时间序列数据随时间的分布变化，通过从输入时间序列中提取均值和方差并将其添加回预测输出来执行归一化。
然后，通过聚合相邻时间戳来应用修补。这使得时间戳能够收集上下文，类似于新闻在一段时间内的持续影响。
由于通道独立性已通过之前的工作证明了其有效性，因此将每个多元时间序列视为多个独立的单变量序列。

输出层：由于冻结的预训练语言转换器的输出包含序列长度（对于文本输入）+补丁数量（对于时间序列输入）的隐藏状态，因此应用线性输出层，将与时间序列对应的隐藏状态作为输入并将其转换为所需的预测长度。正如表 5 和表 4 中的消融研究所示，这提高了性能，因为仅利用时间序列输入的隐藏状态可以更好地表示数值预测目标。

实验结果

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述