kaggle竞赛宝典 | LLM解决时间序列问题——语言模型+时序模型的对齐与融合建模

本文来源公众号“kaggle竞赛宝典”，仅用于学术分享，侵权删，干货满满。

原文链接：LLM解决时间序列问题——语言模型+时序模型的对齐与融合建模

直接基于预训练的大语言模型（LLM）解决时间序列问题，是一个最近的重要研究点。之前的研究中，主要尝试用LLM进行zero-shot learning，或者基于LLM的参数进行finetune。随着研究的深入，研究者发现，单独的一个LLM模型，或者单独的用LLM在时序数据上finetune，并不能取得最优的效果。因此除了上述优化之外，另一些工作尝试同时引入LLM构建文本模型和时序模型，并对两种模态的信息进行对齐，提升时序预测效果。

今天就给大家总结几篇最近一段时间，使用语言模型+时序模型进行融合建模的最新工作。

1 基于Attention的文本时序融合

Taming Pre-trained LLMs for Generalised Time Series Forecasting via Cross-modal Knowledge Distillation提出一种文本+时序模型双分支的结构，都从LLM进行参数初始化，并进行跨模态的表征对齐。整体模型包含两个分支，一个分支是文本模型，使用预训练的GPT2；另一个分支是时间序列模型，用来对时间序列数据进行编码，也使