今天给大家介绍一篇关于大模型在时间序列应用探讨的工作。这篇文章质疑大语言模型在时间序列预测中是否有效,并对目前最先进的3个基于大语言模型的时间序列预测模型进行实验,发现去掉大语言模型部分,改成一个attention网络,也能取得相同甚至更优的效果。
论文标题:Are Language Models Actually Useful for Time Series Forecasting?
下载地址:https://arxiv.org/pdf/2406.16964v1
1
背景
随着大语言模型的兴起,一些工作也将其应用到时间序列预测领域。这类方法一般基于预训练好的NLP领域的语言模型,将时间序列转换成文本形式输入其中,通过finetune大模型,产出预测结果。典型的代表工作包括OneFitsAll、Time-LLM、LLaTA等工作。
本文质疑的点就是大语言模型在时间序列预测中是否真的有效。通过一系列的对目前先进的大语言模型的实验来看,引入大语言模型并不和提升效果,甚至会降低效果,并且白白浪费了更多的计算资源。
2
实验方法
本文对3个目前业内最先进的基于大语言模型的时间序列预测方法进行实验,分别是OneFitsAll、Time-LLM、LLaTA。
OneFitsAll:OneFitsAll是基于GPT4的时序预测模型,将时间序列归一化并进行patch处理后,输入预训练GPT4中,finetune其中的position embedding和layer norm参数,其他参数freeze;
Time-LLM:Time-LLM将时间序列转换成token后映射到低维表征,和数据集描述等信息拼接后输入到预训练大模型中,大模型的输出结果再输入到一个线性层进行生成预测结果;
LLaTA:模型分为文本分支和时序分支,文本分支部分将原始时间序列和大模型的word embedding对齐后,输入到大模型中,生成文本表征。时序分支基于原始时间序列数据,使用一个adpater对预训练大模型进行finetune,同时将时序分支和文本分支的表征拉近作为辅助任务。
在实验方法上,针对上述3个大模型时序预测模型,采用如下方法进行消融实验,鉴别大模型在其中的作用。第一种是w/o LLM,直接将大模型部分去掉。第二种是LLM2Attn,将大模型改成一个参数随机初始化multi-head attention结构。第三种是LLM2Trsf,将大模型部分改成一个随机初始化的Transformer结构。通过对比这三种方式和原始模型的效果,就可以分辨出大模型的参数是否对时间序列预测起到作用。
3
实验结果
下表展示了一个基础的消融实验效果图。从图中可以看出,Time-LLM、LLaTA、OneFitsALL等模型中,将大语言模型部分直接改成Transformer,在不同的数据集上效果并没有明显下降。在一些数据集上效果反而提升了。消融模型的效果,所有case上都超过了Time-LLM,22个case超过了Time-LLM,19个数据集超过了OneFitsALL。这说明在这些方法中,预训练的大语言模型并没有发挥什么特别重要的作用。
除了预训练参数外,文中对比了大模型所增加的计算开销,性价比是否足够高。文中的消融实验的模型参数量要小于大模型本身的参数量。通过实验对比来看,大模型耗费更多的inference时间,但是效果却不如消融实验的效果。
如何学习大模型
现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。
作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。
![](https://img-blog.csdnimg.cn/img_convert/9a826a1c02d2a6d59386d1cf9a9f538c.png)
一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。
二、AI大模型视频教程
三、AI大模型各大学习书籍
四、AI大模型各大场景实战案例
五、结束语
学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。
再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。
因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。