论文笔记：Time-LLM: Time Series Forecasting by Reprogramming Large Language Models

已于 2024-07-06 11:19:54 修改
阅读量866 收藏
点赞数 2
分类专栏： 论文笔记 文章标签： 论文阅读 语言模型 人工智能
于 2024-04-21 15:26:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/138028709
版权
本文介绍了一种名为Time-LLM的方法，它允许在无需重新训练大语言模型的情况下，利用LLM进行时间序列预测。文章探讨了时序数据与文本数据之间的差异，以及如何通过大模型重编程框架实现高效对齐。实验部分展示了在few-shot和zero-shot环境下的性能.
摘要由CSDN通过智能技术生成

iclr 2024 reviewer 评分 3888

1 方法

  • 提出了 Time-LLM，
    • 是一个通用的大模型重编程（LLM Reprogramming）框架
    • 将 LLM 轻松用于一般时间序列预测，而无需对大语言模型本身做任何训练

为什么需要时序数据和文本数据对齐：时序数据和文本数据在表达方式上存在显著差异，两者属于不同的模态。时间序列既不能直接编辑，也不能无损地用自然语言描述

gpt2和llama1

3 实验

3.1 实验结果

3.2 few-shot 实验结果

3.3 zero-shot 结果

3.4 ablation study

UQI-LIUWJ
关注
专栏目录
TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS
c_cpp_csharp的专栏
10-09 1206
时间序列预测在许多现实世界的动态系统中具有重要意义，并得到了广泛的研究。与自然语言处理(NLP)和计算机视觉(CV)不同，单个大型模型可以处理多个任务，时间序列预测模型通常是专门的，需要针对不同的任务和应用进行不同的设计。虽然预训练的基础模型在NLP和CV领域取得了令人印象深刻的进步，但它们在时间序列领域的发展受到数据稀疏性的限制。最近的研究表明，大型语言模型(llm)对复杂的符号序列具有强大的模式识别和推理能力。然而，挑战仍然存在，如何有效地将时间序列数据和自然语言的模式结合起来，以利用这些功能。
LSTPrompt: Large Language Models as Zero-Shot Time Series Forecasters by Long-Short-Term Prompting
c_cpp_csharp的专栏
04-27 131
时间序列预测（TSF）在现实世界中有着广泛的应用。提示脱离搁置的大型语言模型（LLM）展示了强大的零样本TSF功能，同时保持了计算效率。然而，现有的提示方法将TSF过于简化为语言下一个表征预测，忽略了其动态性质，并且缺乏与最先进的提示策略（如思想链）的集成。因此，我们提出了LSTPrompt，这是一种在零样本TSF任务中提示LLM的新方法。LSTPrompt将TSF分解为短期和长期预测子任务，并为每个任务定制提示。LSTPrompt指导LLM定期重新评估预测机制，以增强适应性。
Time-LLM ：超越了现有时间序列预测模型的学习器
AI相关从业分享
06-06 1162
Time-LLM 被展示为一个强大的时间序列学习器，其性能超越了现有的、专门的预测模型。输入补丁化：首先，将输入的时间序列数据分割成一系列“补丁”（patches），这些补丁是通过在时间序列上滑动窗口来创建的，每个补丁包含了一定数量的时间步长。实验与优化：在实践中，可能需要进行多次实验，调整模型参数，如补丁长度、步长、模型层数等，以及优化提示前缀的设计，来提高预测的准确性。解决方案：进行多次实验，调整模型参数，如补丁长度、步长、模型层数等，以及优化提示前缀的设计来提高预测的准确性。
预训练大语言模型对时间序列预测真的有用吗？去掉预训练LLM效果反而提升
最新发布
python1234_的博客
07-23 1300
今天给大家介绍一篇关于大模型在时间序列应用探讨的工作。这篇文章质疑大语言模型在时间序列预测中是否有效，并对目前最先进的3个基于大语言模型的时间序列预测模型进行实验，发现。随着大语言模型的兴起，一些工作也将其应用到时间序列预测领域。这类方法一般基于预训练好的NLP领域的语言模型，将时间序列转换成文本形式输入其中，通过finetune大模型，产出预测结果。典型的代表工作包括OneFitsAll、Time-LLM、LLaTA等工作。本文质疑的点就是大语言模型在时间序列预测中是否真的有效。
【时间序列预测+大语言模型】TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS
weixin_43627638的博客
03-31 3238
发表于。
论文阅读 - TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS
qq_40671063的博客
05-28 2054
时间序列预测在许多真实世界的动态系统中具有重要意义，并已得到广泛研究。与自然语言处理（NLP）和计算机视觉（CV）不同，在自然语言处理和计算机视觉中，一个大型模型可以处理多个任务，而时间序列预测模型往往是专门的，需要针对不同的任务和应用进行不同的去符号化。虽然预训练基础模型在 NLP 和 CV 领域取得了令人瞩目的进展，但它们在时间序列领域的发展却受到了数据稀缺性的限制。最近的研究表明，大型语言模型（LLM）对复杂的标记序列具有强大的模态识别和推理能力。然而，如何有效地。
终端LLM AI模型:mlc-llm
10-10
使用mlc-llm-main，开发者可以便捷地进行模型的本地开发和优化。这个主文件可能包含了模型的源代码、预训练权重、开发工具以及相关文档。开发者可以通过这个入口，根据具体硬件环境调整模型参数，进行模型裁剪、量化...
LLM微调 | LoRA: Low-Rank Adaptation of Large Language Models
weixin_43646592的博客
07-18 1916
LLM微调 | LoRA: Low-Rank Adaptation of Large Language Models
告别选择题：Open-LLM-Leaderboard 用开放式问题评估大模型
步子哥的博客
06-12 669
Open-LLM-Leaderboard 为LLM评估提供了一个新的视角，它利用开放式问题来评估模型的真实能力，并能有效地消除选择偏差和随机猜测问题。该框架的出现，为LLM评估提供了更准确、更全面的指标，也为未来LLM研究提供了新的方向。
聊聊大模型浪潮下的时间序列预测
机器学习社区
11-07 1308
这篇文章介绍了大模型浪潮下的时间序列预测研究思路，整体包括直接利用NLP大模型做时间序列预测，以及训练时间序列领域的大模型。无论哪种方法，都向我们展现了大模型+时间序列的潜力，是一个值得深入研究的方向。
Time-LLM：为时间序列预测重新编程LLM 探索Time-LLM的架构，并在Python中将其应用于预测项目
数智笔记
03-11 4410
我们将探讨Time-LLM的架构以及它如何有效地使LLM能够预测时间序列数据。然后，我们将实现该模型并将其应用于一个小型预测项目。
【时间序列预测】Are Transformers Effective for Time Series Forecasting?
hellozhxy的博客
09-19 847
灵魂七问提供了很好设计对比实验的思路读论文需要更加仔细思考，之前根本没有想过 informer 这种点注意力其实在时间序列预测上的有效性。transformer 在时序预测的应用还是值得进一步思考！
大模型在时间序列预测领域的最新15篇论文
学姐带你玩AI的博客
11-09 2721
大模型可以处理不同类型的时间序列数据，例如文本、图像、音频等，也可以适应不同的时间序列数据的变化和异常情况，有助于提高时间序列预测的准确性和稳定性。另外，大模型还可以通过文本形式提供解释性的时间序列预测结果，从而帮助我们更好地理解时间序列数据的模式和趋势。为了方便想发论文的同学，我今天就来分享该领域的，这些文章主要涉及论文原文及模型代码都整理好了，需要的同学看文末。
LLM4TS文献阅读 : TIME-LLM: TIME SERIES FORECASTINGBY REPROGRAMMING LARGE LANGUAGE MODELS
Msc30839573的博客
02-06 1686
Patch（补丁）：对于时间序列数据，"patch" 可能指的是数据序列中的局部区域，例如一小段连续的时间窗口或者一组连续的时间点。Batch（批量）：在训练时间序列模型时，"batch" 意味着同时处理的一组时间序列样本。例如，在循环神经网络（RNN）的训练过程中，我们通常会将多个时间序列样本组合成一个批量，然后一起输入到模型中进行训练，以提高训练效率。因此，以时间序列为主题，"patch" 可能表示时间序列中的局部区域或子序列，而 "batch" 则表示在训练模型时同时处理的一组时间序列样本。
ICLR 2024 时间序列（Time Series）论文
suzukiwudi的博客
01-17 3058
ICLR 2024（International Conference on Learning Representations）在5月7日-11日在奥地利维也纳举行。今年，ICLR共收到7262篇投稿，总体录用率在31%。 本文总结了2024 ICLR录用的有关时间序列论文，其中包含了时间序列预测，分类，插补以及气象预测，大模型在时间序列建模等的应用。供大家学习，欢迎大家补充。
《异常检测——从经典算法到深度学习》26 Time-LLM：基于大语言模型的时间序列预测
Smileyan's blog
03-03 5054
基于大模型的时间序列预测。
顶会ICLR2024论文Time-LLM：基于大语言模型的时间序列预测
weixin_52705010的博客
02-28 2782
根据松鼠AI首席科学家、AI研究院负责人文青松团队成员在2023 CCF国际AIOps挑战赛决赛暨“大模型时代的AIOps”研讨会闪电论文分享环节上的演讲整理成文。
TIME-LLM是大模型吗
06-13
TIME-LLM（Time-aware Large Language Model）并不是一个公开广泛认知的大模型。它可能是某个特定研究团队或组织开发的一个时间序列相关的预训练语言模型，用于处理具有时间依赖性的自然语言处理任务，如文本生成、事件预测等。通常，像GPT、InferWeb、BERT这样的模型才被视为广为人知的大模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值