TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS

TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS

结合了instruction prompt + soft prompt。

背景

用于时间序列预测的模型通常是专业化的，需要为不同的任务和应用程序设计不同的模型。

动机

1：预训练得基础模型取得了成功，但它们在时间序列领域的发展受到了数据稀缺性的限制
2：如何有效地对齐时间序列数据和自然语言的模态，仍然是一个挑战。

结构图

TIME-LLM的模型框架。给定一个输入的时间序列，首先通过分块（patching）进行标记化，并使用自定义的嵌入层进行嵌入。接着，这些分块嵌入会与精炼的文本原型重新编程，以对齐两种模态。为了增强LLM的推理能力，我们还在输入中添加了额外的提示前缀，以指导输入分块的转换。最后，从LLM中输出的分块被投影以生成预测结果。

方法

Patch Reprogram

这部分主要是把pre-trained Word Embedding 和Time Series Patches经过多头注意力层进行维度变化达到数据对齐得效果。
reprogramming:X ；pre-trained word embeddings:E;

Prompt-as-Prefix

在这里插入图片描述

主要区别就是：Pre-trained LLM部分用了原本得input embedding加上instruction形成新的Frozen部分，然后Patch Reprogram作为prompt tuning部分。主要就是一个（instruction prompt + soft prompt）。