论文笔记：LSTPrompt: Large Language Models as Zero-Shot Time Series Forecastersby Long-Short-Term Prompt

已于 2024-03-13 15:11:36 修改
阅读量1k 收藏 8
点赞数 13
分类专栏： 论文笔记 文章标签： 论文阅读 语言模型 prompt
于 2024-03-12 23:15:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/136665791
版权
本文介绍了一种新的时间序列预测方法，LSTPrompt，它通过分解任务（TimeDecomp）和引入节奏调整（TimeBreath）来优化大模型对时间序列数据的处理。实验表明，这种方法在零样本预测任务中表现出色，特别是在大模型未见过的数据上。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

202402 arxiv

1 intro

1.1 大模型+时间序列预测

  • 一般有两种类型的方法
    • 使用海量时间序列数据重新训练一个时间序列领域的大模型
    • 直接利用现有的大模型，设计prompt，将时间序列数据转换成大模型理解的文本，实现时间序列预测
      • 代价小+有成熟的可供使用的大模型

1.2 本文思路

  • 之前的方法大多集中在如何将时间序列数据转换成文本上
    • 将时间序列的数字直接当成文本处理
    • 将时间序列翻译成上涨或下跌这种文本，输入到NLP大模型中，
最低0.47元/天 解锁文章
LSTPrompt: Large Language Models as Zero-Shot Time Series Forecasters by Long-Short-Term Prompting
c_cpp_csharp的专栏
04-27 280
时间序列预测（TSF）在现实世界中有着广泛的应用。提示脱离搁置的大型语言模型（LLM）展示了强大的零样本TSF功能，同时保持了计算效率。然而，现有的提示方法将TSF过于简化为语言下一个表征预测，忽略了其动态性质，并且缺乏与最先进的提示策略（如思想链）的集成。因此，我们提出了LSTPrompt，这是一种在零样本TSF任务中提示LLM的新方法。LSTPrompt将TSF分解为短期和长期预测子任务，并为每个任务定制提示。LSTPrompt指导LLM定期重新评估预测机制，以增强适应性。
【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
AI天才研究院
12-22 3432
手动求解 Transformer：分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer：分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕，并且
论文笔记：Large Language Models Are Zero-Shot Time Series Forecasters
qq_40206371的博客
04-22 1022
完全是零样本（zero-shot）的，不需要微调。
LSTPrompt：无需训练，大型语言模型如何变身时间序列预测高手？
2401_85377976的博客
09-03 993
本文介绍了一种新的时序预测方法，
NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-29 1万+
​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
[ICLR 2024]Time-LLM: Time Series Forecasting by Reprogramming Large Language Models
Sherlily的博客
02-21 705
计算机-人工智能-时间序列大模型
LLM4TS文献阅读 : TIME-LLM: TIME SERIES FORECASTINGBY REPROGRAMMING LARGE LANGUAGE MODELS
Msc30839573的博客
02-06 2222
Patch（补丁）：对于时间序列数据，"patch" 可能指的是数据序列中的局部区域，例如一小段连续的时间窗口或者一组连续的时间点。Batch（批量）：在训练时间序列模型时，"batch" 意味着同时处理的一组时间序列样本。例如，在循环神经网络（RNN）的训练过程中，我们通常会将多个时间序列样本组合成一个批量，然后一起输入到模型中进行训练，以提高训练效率。因此，以时间序列为主题，"patch" 可能表示时间序列中的局部区域或子序列，而 "batch" 则表示在训练模型时同时处理的一组时间序列样本。
LLMs之Baichuan2：《Baichuan 2: Open Large-scale Language Models》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
09-07 2986
​ LLMs之Baichuan2：《Baichuan 2: Open Large-scale Language Models》翻译与解读 目录 相关文章 《Baichuan 2: Open Large-scale Language Models》翻译与解读 Abstract摘要 1Introduction引言 2Pre-training预训练 3 Alignment对齐=SFT+RLHF(RM+RL)
【时间序列预测+大语言模型】TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS
weixin_43627638的博客
03-31 5731
发表于。
【论文阅读】-周总结-第5周
wangshangshang09的博客
04-27 855
链接论文信息： Liu S, Xu T, Du X, et al. A hybrid deep learning model based on parallel architecture TCN-LSTM with Savitzky-Golay filter for wind power prediction. Energy Conversion and Management, 2024, 302: 118122.内容总结：链接论文信息： Leinauer J, Weber S, Cicoira A, et
论文阅读：2024 ACM SIGSAC Membership inference attacks against in-context learning
CSPhD-winston的博客
04-30 774
在这个示例中，语言模型要完成的任务是根据问题的答案类型进行分类，比如答案类型可能是数字（Number）、地点（Location）、人物（Person）、描述（Description）、实体（Entity）或缩写（Abbreviation）。：帮助理解ICL的工作方式，它通过在输入中添加提示（包含指令和演示示例），让语言模型在不更新自身参数的情况下，通过类比示例来完成特定任务。这篇论文主要研究了大语言模型中上下文学习（ICL）的隐私安全问题，提出针对ICL的成员推理攻击方法，并探索了相应的防御策略。
论文笔记（八十二）Transformers without Normalization
xzs1210652636的博客
04-30 795
归一化层在现代神经网络中无处不在，并且长期以来被认为是必不可少的。本工作表明，通过一种非常简单的技术，不使用归一化的Transformer也能达到相同或更好的性能。我们提出了动态Tanh (Dynamic Tanh——DyT)，一种逐元素操作$\text{DyT}(x)=\tanh(\alpha x)$，可作为Transformer中归一化层的直接替代。$\text{DyT}$的灵感来源于观察到Transformer中的层归一化通常会产生类似tanh的“S型”输入输出映射。通过引入$\text{DyT}$，
论文阅读：2024 ICML In-Context Unlearning: Language Models as Few-Shot Unlearners
CSPhD-winston的博客
04-30 727
这篇论文主要介绍了一种针对大语言模型（LLMs）的新型遗忘学习方法——上下文内遗忘（In-Context Unlearning，ICUL），旨在解决从模型中删除特定训练数据的问题。Figure 1：上下文内遗忘与标准遗忘的差异。Figure 2：上下文内遗忘的示例。
论文阅读：MAXIM Multi-Axis MLP for Image Processing
最新发布
Matrix-11
05-01 712
近年来，Transformer 和多层感知机（MLP）模型的发展为计算机视觉任务提供了新的网络架构设计。尽管这些模型在图像识别等许多视觉任务中已被证明是有效的，但在将它们应用于底层视觉任务时仍存在挑战。对高分辨率图像支持的灵活性不足以及局部注意力机制的局限性，可能是主要的瓶颈所在。在这项工作中，我们提出了一种基于多轴 MLP 的架构，称为 MAXIM，它可以作为一种高效且灵活的通用视觉主干架构，用于图像处理任务。MAXIM 采用了 U 型网络的分层结构，并通过空间门控的 MLP 实现了长距离的交互。
Sce2DriveX: 用于场景-到-驾驶学习的通用 MLLM 框架——论文阅读
qq_54556560的博客
04-29 658
Sce2DriveX利用来自局部场景视频和全局BEV地图的多模态联合学习，深入了解长距离时空关系和道路拓扑，增强其在3D动态/静态场景中的综合感知和推理能力，实现跨场景的驾驶泛化。在此基础上，它重建了人类驾驶固有的内隐认知链，涵盖场景理解、元动作推理、行为解释分析、运动规划和控制，从而进一步弥合了自动驾驶与人类思维过程之间的差距。：传统方法依赖刚性规则或小型模型，缺乏对驾驶过程的渐进式推理（Chain-of-Thought, CoT），导致决策逻辑不透明，难以与人类驾驶思维对齐。
论文笔记-多智能体任务分配：动态智能空间中的拍卖与抢占机制
sagima_sdu的博客
04-29 1150
DySOMA的核心是一种先进的基于拍卖的算法，结合了新颖的任务抢占排序机制，并与动态更新的本体知识图谱无缝集成。》的论文，该文提出了一种名为DySOMA（Dynamic System Optimisation for Multiagent）的框架，旨在通过拍卖算法和任务抢占机制，结合本体知识图谱，提升动态智能空间中多机器人系统的任务调度效率。》是一篇极具启发性的论文。例如，在智能家居场景中，知识图谱可以帮助机器人识别房间的位置、物品的状态以及用户的偏好，从而在任务分配过程中做出更合理的决策。
【第三十三周】BLIP论文阅读笔记
m0_59510256的博客
04-27 1109
本博客介绍了BLIP（Bootstrapping Language-Image Pre-training），这是一种创新的视觉-语言预训练框架，旨在通过统一模型架构和高效数据增强策略，同时解决现有视觉-语言模型在理解与生成任务上的割裂性以及网络数据噪声对性能的制约。
[论文阅读]Practical Poisoning Attacks against Retrieval-Augmented Generation
m0_52911108的博客
04-27 855
大多数现有攻击都假设攻击者可以为每个查询插入足够数量的投毒文本以超过检索中正确答案文本的数量，这一假设通常是不现实的。为了解决这一局限性，我们提出了 CorruptRAG，这是一种针对 RAG 系统的实用性投毒攻击，其中，从而提高了可行性和隐蔽性。在多个数据集上的大量实验表明，与现有基线相比，CorruptRAG 实现了更高的攻击成功率。
论文阅读_Citrus_在医学语言模型中利用专家认知路径以支持高级医疗决策
谢彦的技术博客
04-28 674
介绍 Citrus，一个医学语言模型，旨在模拟医疗专家的认知过程，以改善医学推理任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值