从新闻到预测：基于LLM的时间序列预测_llmagent 时序预测论文-CSDN博客

本文链接：https://blog.csdn.net/Python_cocola/article/details/143027683

Content

本文介绍了一种新颖的方法，通过结合大型语言模型（LLMs）和生成代理，来增强时间序列预测。该方法通过语言作为媒介，自适应地将社会事件融入预测模型中，将新闻内容与时间序列的波动对齐，以提供更丰富的洞察力。具体来说，研究者利用基于LLM的代理迭代筛选不相关的新闻，并采用类似人类的推理来评估预测。这使得模型能够分析复杂事件，例如意外事件和社会行为的变化，并不断细化新闻的选择逻辑和代理输出的鲁棒性。通过将选定的新闻事件与时间序列数据集成，研究者微调了预训练的LLM来预测时间序列中的数字序列。结果表明，预测精度显著提高，这表明通过有效利用非结构化新闻数据，可能在时间序列预测中实现范式转变。

1. 引言

时间序列预测是经济、基础设施和社会领域决策的基础。分析时间序列数据的目的是解码复杂动态现实世界系统中不断发展的关系。传统的预测方法在识别历史数据中的模式方面有效，但在处理由外部随机事件引起的突然中断或异常时存在局限性，并且没有系统地将复杂的社会事件与时间序列数据的波动联系起来。将现实世界事件的洞察力及其对社会和经济行为的影响融入预测中，对于提高时间序列预测的可靠性和准确性至关重要。

新闻文章提供了对意外事件、政策变化、技术发展和公众情绪变化等关键洞察，这些因素可能是数字数据无法捕捉的。将新闻融入预测中，通过与人类行为和社会变化的复杂性紧密镜像的上下文来丰富其输入。一方面，新闻提供了事件的实时快照，使模型能够根据更新的信息调整预测。另一方面，新闻来源的定性数据使模型能够考虑非线性和非数字影响。通过结合定量和定性洞察力，模型可以提高预测精度，特别是在快速变化的环境中，使其更能反映现实世界的动态。

2. 相关工作

时间序列预测的传统方法依赖于分析历史数据，并利用统计模型预测未来趋势。然而，这些方法通常限于小规模数据集。深度学习的出现引入了一系列时间序列预测网络，这些网络擅长处理更大规模、更复杂的数据集，通过直接从历史数据中捕获非线性和依赖性。最近的进步包括在多样化的大规模数据集上预训练，允许模型在特定任务上用更少的数据和资源进行微调。

3. 方法

本研究旨在将新闻洞察力融入时间序列预测中。该系统的发展面临几个挑战。首先，预测方法必须灵活地处理非结构化、非数字的新闻输入，并根据新闻事件的上下文调整预测。其次，构建此模型涉及过滤新闻和建立新闻与时间序列数据之间的联系。这需要在互联网上筛选大量数据以找到相关信息，需要深入的社会理解和复杂的推理技能。因此，设计了一个智能代理来管理这种复杂性。此外，新闻选择或推理中的潜在不准确性仍可能影响预测精度，需要根据预测结果进一步细化新闻选择和推理。该方法包括三个主要模块：基于语言模型的预测模块、用于新闻过滤和推理的推理代理，以及评估和完善预测模型的评估代理。

3.1 重新思考时间序列预测问题和元素

将时间序列预测视为一个条件生成问题，并与自然语言处理中的大型语言模型（LLMs）的一般范式相对应。作者以LLaMa语言模型为例，说明了如何将数字序列视为一系列的标记，并使用这些标记来预测序列中的下一个数字。这种预测过程是自回归的，即给定一系列历史数据，模型预测下一个数据点的概率分布。

此外，作者还探讨了如何将新闻事件作为文本标记整合到时间序列预测中。新闻事件提供了关于复杂社会事件的洞察，这些事件通常在传统的数字数据中被忽视。通过将新闻事件表示为文本标记，并将其作为条件输入，LLMs可以执行条件概率预测，从而在预测中考虑这些事件的影响。

3.2 分析代理用于聚合和推理上下文新闻信息

获取与时间序列数据相匹配的新闻是一个挑战，因为互联网上的新闻数量庞大且大多数与目标预测无关。因此，作者提出了使用LLMs作为智能代理来过滤和推理新闻内容。

智能代理的设计包括三个主要阶段：

使用LLM代理根据时间序列数据的特征（如经济、政策、季节和技术因素）对新闻的影响进行分类。指导代理根据自动生成的逻辑或给定的推理逻辑过滤和分类新闻，重点关注与时间序列的相关性，并分类影响（如长期和短期）及其理由。指定输出格式，以便代理将选定的新闻组织成JSON格式，详细描述摘要、受影响区域、报告时间和理由。此外，还设计了一个评估代理来评估和改进新闻过滤的有效性。评估代理通过分析模型的预测结果来识别可能因遗漏新闻而导致的不准确性，并根据这些结果调整新闻过滤策略。

3.3 整体工作流程

将新闻推理代理和评估代理与LLM预测模型的微调相结合，以提高训练数据的质量。这个过程包括使用LLM代理建立新闻选择逻辑，将新闻与时间序列数据对齐，并将其输入模型进行初始微调。然后，评估代理检查预测结果，以确定是否遗漏了可能影响预测的重要新闻。这个反馈帮助推理代理在后续迭代中完善过滤逻辑。这个过程一直持续到最终迭代，推理代理将所有更新整合成最终的新闻过滤器，用于训练最终模型。

4. 实验

4.1 数据准备

选择了受人类活动和社会事件影响的时间序列数据，以测试该方法在预测期间捕获复杂的人为驱动动态的能力。这些领域包括交通（交通量）、汇率（汇率）、比特币（比特币价格）和电力（澳大利亚电力需求）。为了避免预训练语言模型的偏见，更新了交易所和电力数据集直到2022年。使用澳大利亚能源市场运营商（AEMO）的半小时电力需求数据和交易所汇率API的每日汇率数据。这些数据集的频率不同，包括每日、每小时和半小时更新，允许评估算法在不同时间分辨率上的有效性。

4.2 结果

研究者还比较了他们的方法与其他时间序列预测技术。尽管基线方法使用逆归一化将预测恢复到原始尺度，但该模型在没有归一化的情况下运行。这种方法保留了数据的物理意义，例如电力需求或经济指标，确保输出保持可解释性。归一化可能会因新闻事件与原始数据值之间的非线性和尺度依赖关系而掩盖新闻事件的影响。

该方法在电力需求、汇率和比特币市场等领域显著优于仅依赖历史时间序列数据的传统方法，这些领域的新闻中体现的事件对市场有重大影响。然而，将新闻整合到交通部门的改进幅度明显较小。覆盖加利福尼亚所有道路的交通预测模型的性能受到公开可用新闻数据的粗粒度的限制，缺乏进行精确预测所需的本地细节。交通数据主要反映特定道路的交通流量，而新闻来源大多为区域性或全球性的，无法充分捕捉本地交通状况。这一局限性在模型的均方误差（MSE）中表现明显，因为MSE对异常值敏感，往往会夸大交通高峰时段的错误。该模型在平均绝对误差（MAE）方面取得了良好的结果，表明平均准确性可靠。整合更多本地道路信息可能会潜在地改善这些问题。

5. 结论和讨论

本研究证明了将新闻整合到基于LLM的时间序列预测方法中的好处，以及基于LLM的代理。这些代理通过自动识别和解决遗漏的新闻，完善其逻辑，并评估事件对预测的影响，增强了模型的智能性。研究结果倡导将广泛的领域知识整合进来，鼓励向更细致和情境感知的预测转变。这种方法丰富了时间序列预测，使其能够适应现实世界的动态。

尽管本研究的方法证明了LLMs（如LLaMa 2）可以通过整合新闻来增强时间序列预测，但其适用性存在局限性。新闻整合的有效性主要体现在人类和市场活动显著影响趋势的领域。该框架不太适合需要精确气象建模的领域，或者人类活动影响最小的领域，如气象或物理数据。此外，模型受到预训练LLMs的最大令牌长度的限制，这使得同时处理大量时间序列或多个序列变得复杂，可能导致数据截断，影响长期预测的准确性。最后，该策略增强了而不是完全取代了所有领域中的传统时间序列任务，如分类或插值。目标是证明通过利用语言模型，可以将有用的文本信息整合到增强时间序列预测任务中。

未来的工作将集中在扩展当前预测模型的范围的几个关键领域。首先，对模型中使用的新闻内容进行归因分析，将确定哪些因素最显著地影响预测精度，从而促进优化的新闻整合过程。向推理代理提供先进的分析工具包，使其能够进行复杂的数据处理和实时应用复杂的分析技术。这些发展将提高时间序列预测模型的精度和相关性，为预测分析领域提供更深入的上下文洞察力，并扩大其在预测分析领域的适用性。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述