Transformer+时序登上Nature子刊！

时序+大模型开始火了，大家最近关注了吗？

在ICLR'24、WWW'24、AAAI'24、IJCAI'24等今年的顶会上，都有多篇时序+大模型的研究入选。

时序+LLM的潜力非常大。首先时序的应用面就很广，现在结合LLM处理非结构化数据、转移知识，结合多模态信息提高预测准确性。能解决很多传统方法的局限性。是一个非常容易发论文的方向！

我最近也研究了一下时序+LLM，并整理了近几年67篇代表性研究工作。按照直接提示、时间序列量化、对齐、视觉、工具5个方向归纳，并且凡是有开源代码的也一并整理。

67篇时序+LLM的创新思路，分享给大家研究学习。欢迎扫码下载。

扫码下载67篇时序+LLM创新思路

67篇合集按照直接提示、时间序列量化、对齐、视觉、工具5个方向归纳。

直接提示

这是将时间序列数据视为原始文本，直接用时间序列提示LLM的方法。是一种简单易行的方法。

例如NeurIPS'23的《Large Language Models Are Zero-Shot Time Series Forecasters》，就提出了LLMTIME ，通过将时间序列数据编码为数字字符串，并将时间序列预测视为文本中的下一个 token 预测问题，从而利用预训练的 LLMs 进行连续时间序列预测。

扫码下载67篇时序+LLM创新思路

时间序列量化

这是将时间序列数据转换为离散表示的方法。包括使用向量量化自编码器或K-均值聚类来创建时间序列的离散索引，从而让LLM可以处理。

扫码下载67篇时序+LLM创新思路

对 齐 

这种方法是为时间序列训练单独的编码器，将编码的时间序列与语言模型的语义空间对齐。分为通过对比损失进行相似度匹配，与通过其他损失进行相似性匹配。 

扫码下载67篇时序+LLM创新思路

此外，还可以利用视觉表示作为时间序列和文本数据之间的桥梁。将时间序列数据转换为图像，然后使用视觉语言模型进行分析。

还可以将LLM用于生成间接工具，例如代码和 API 调用，以辅助时间序列分析任务

一共67篇时序+LLM的创新思路，分享给大家研究学习。欢迎扫码下载。

扫码下载67篇时序+LLM创新思路