使用LSTM和LLM进行股票预测，提供股票建议

最新推荐文章于 2025-05-23 10:18:27 发布

程序猿李巡天

最新推荐文章于 2025-05-23 10:18:27 发布

阅读量1.1k

点赞数 24

文章标签： lstm 人工智能深度学习计算机视觉 1024程序员节大数据 rnn

本文链接：https://blog.csdn.net/m0_59235945/article/details/143373931

版权

“A Hierarchical conv-LSTM and LLM Integrated Model for Holistic Stock Forecasting”

空间数据可以分析地理因素与金融活动的关系，帮助投资者理解区域经济状况、识别地理风险（如政治不稳定、自然灾害），并制定区域化投资策略。时间数据包括监测股价、交易量等随时间变化的指标，进行时间序列分析，识别趋势、波动和事件影响，可以优化投资决策。

本文提出了一种新型的两级Conv-LSTM神经网络，结合语言模型用于股票市场预测。结合空间、时间和文本数据，提供全面的市场动态视角，帮助投资者做出更明智的决策。

论文地址：https://arxiv.org/pdf/2410.12807

摘要

本文提出了一种新型的两级Conv-LSTM神经网络，结合语言模型用于股票市场预测。第一层使用卷积层提取历史股价和技术指标的局部模式，随后通过LSTM捕捉时间动态。第二层整合LLM，分析来自金融新闻、社交媒体和报告的文本数据，提供市场情境的全面视角。该模型旨在提高预测准确性，并提供丰富的股票建议。

简介

空间数据可以分析地理因素与金融活动的关系，帮助投资者理解区域经济状况、识别地理风险（如政治不稳定、自然灾害），并制定区域化投资策略。时间数据包括监测股价、交易量等随时间变化的指标，进行时间序列分析，识别趋势、波动和事件影响，可以优化投资决策。结合空间和时间数据，分析区域市场对全球事件的反应，提升预测模型的准确性。

本文提出Conv-LSTM模型，包含结合卷积层和LSTM层，适合分析时空数据，捕捉空间特征和时间动态。语言模型处理非结构化文本数据（如新闻、社交媒体），提供情感分析，增强时空分析的深度。

本文结合空间、时间和文本数据，提供全面的市场动态视角，帮助投资者做出更明智的决策。

Conv-LSTM是如何工作的？

LSTM是一种改进的RNN架构，解决了传统RNN的梯度消失和爆炸问题，能够学习长时依赖。LSTM包含一个记忆单元和三个重要的门控：遗忘门、输入门和输出门。遗忘门决定保留或丢弃前一状态的信息。输入门控制新信息的加入，包含一个sigmoid函数和一个tanh函数。输出门决定当前输出和下一个时间步的隐藏状态。

LSTM在自然语言处理（如语言建模、文本生成、机器翻译、语音识别）和时间序列预测（如股票预测、天气预报、异常检测）等领域应用广泛。LSTM的优势在于保持上下文和处理长时依赖，使其在序列数据处理任务中非常有效。

语言模型

语言模型（LLM）工作流程包括：

数据收集：从书籍、网站等获取多样化数据。
分词：将文本分解为更小的单位以提高处理效率。
预训练：无监督学习，预测序列中的下一个词，学习语法和语义。
Transformer架构：通过自注意力机制理解词之间的关系。
微调：在特定任务数据集上进行监督学习以适应特定任务。
推理：生成基于输入的预测或文本。
上下文理解与束搜索：捕捉长距离依赖，生成连贯的响应。
响应生成：根据输入和已生成的词预测后续词，产生流畅的文本。

传统预测的问题

LSTM网络在股票预测中擅长捕捉时间数据的模式，但忽视了空间数据的重要性。空间数据（如新闻报道）对股票价格波动有显著影响，可能导致投资者的决策变化。仅依赖历史时间数据的模型在实际应用中可能效果不佳。结合空间因素可以提高预测准确性，使模型更适应现实情况。

解决方案

本文提出一种层次模型，结合conv-LSTM的时间分析和LLM的空间分析能力。第一层为conv-LSTM，基于历史表现进行初步股票预测。建立独立管道收集相关股票的新闻文章。使用预训练的LLM（如BERT）进行情感分析，为每篇文章分配-1到1的情感分数。根据新闻来源的影响力计算加权累积平均分数。

第二层将conv-LSTM网络的预测与情感评分结合，通过时间映射生成训练数据。使用预训练的LLM进行微调，输入包括conv-LSTM预测和累积平均情感，目标为实际市场股票值。模型结合历史数据和新闻等空间特征，提升对突发市场波动的预测能力。通过整合LLM的空间理解能力与conv-LSTM的时间序列分析，提供全面的股票预测。

模型

第一层为层次化LSTM-LLM架构，使用conv-LSTM处理历史数据。生成基于历史模式的初步预测。数据根据测试结果分割为最佳长度的序列。

概述

Conv-LSTM用于学习时间序列股票数据的长期依赖和模式。BERT分析新闻文章的情感，以评估实时市场反应。通过时间映射和形状调整将两者整合，随后用Transformer模型进行微调。最终输出结合历史趋势和情感驱动波动的时间序列预测。该方法融合了Conv-LSTM、BERT和Transformer，形成多维股票市场预测。

数据预处理

数据预处理对Conv-LSTM至关重要，包括数据清洗和归一化。

归一化。采用Z-score归一化，保持数据分布，适合高斯假设的算法，改善梯度优化收敛。

确定LSTM的最佳输入长度，通过分组处理数据。

选择最优长度。通过调整序列长度L和性能P(L)的关系，确定最佳序列长度以提高 conv-LSTM 的表现。使用Delta L进行步长调整，初始值设为较大，依据性能改进和减少因子alpha进行动态调整。当(|P(L)-P(L)| < 𝑎 ) 且 Delta L < epsilon ) 时，认为已找到最佳序列长度。

训练集创建。利用最佳长度将数据分组，采用滑动窗口方法处理时间序列数据，以捕捉时间依赖性和模式。

Convolutional LSTM

Conv-LSTM结合卷积层和LSTM层，捕捉股票数据的空间特征和时间依赖性。卷积层识别多个股票属性或外部金融指标的局部相关性。LSTM层有效识别长期模式和趋势，适应短期波动和长期市场行为。

使用均方误差（MSE）作为损失函数，Huber损失更稳健，结合MSE和MAE的优点。Huber损失通过阈值𝛿在MSE和MAE之间转换。

Conv-LSTM输出预测时间序列，可用于后续步骤。

新闻数据的处理和分词

数据获取。通过API（如News API）获取特定股票的新闻数据，返回JSON格式。

数据处理。提取新闻网站名称、文章标题和正文，合并标题和正文以便后续处理。

数据标记化。对文本进行标记化，去除无关字符，准备输入NLP模型（如BERT）。

使用BERT进行情感分析

清洗和组织后的数据被输入到BERT模型进行自然语言处理。BERT利用深度学习理解文章中词语的上下文，捕捉情感和细微含义。通过分析文本情感（正面、负面、中性），生成情感评分。情感评分作为额外特征影响股票预测，正面新闻可能导致股价上涨，负面新闻则可能导致下跌。

使用加权累积分数的响应后处理

情感评分设置。BERT返回的文章情感标签为“POSITIVE”、“NEGATIVE”或“NEURAL”。若为“NEGATIVE”，则情感分数乘以-1；其他情况保持不变。

加权累积评分计算。每个情感分数乘以对应文章/新闻的权重，计算加权情感分数的平均值，以得到特定时间段（如一天或一小时）的加权累积评分。

计算股票的加权累积情感分数，反映时间段内的整体情感。该分数对语言模型的训练非常有帮助。

时间映射和长度调整

conv-LSTM模型基于历史数据提供了预测序列。新闻数据包含相应时间间隔的加权情感得分。将预测与情感得分按时间间隔配对。可选的长度调整步骤确保LSTM预测与新闻数据长度一致。情感数据与股票数据时间对齐，便于分析新闻情感对股价的影响。

语言模型微调

使用时间序列预测和情感分数的组合数据训练Transformer模型，具体为微调T5模型。T5架构适合语言生成和转换任务，此处用于时间序列预测。训练数据由结合的时空数据构成。Transformer在此训练数据上进行训练，最终输出为最后一步的响应。

结果评估

Transformer模型通过评估预测的准确性和可靠性，捕捉复杂市场动态。模型结合历史数据（LSTM）和实时情绪分析（BERT）进行时间序列预测。最终输出的预测综合了股票的历史行为和实时情绪信息。

结果

使用了一个包含四年历史股票数据和相关新闻文章的自定义数据集，数据包括每日收盘价、交易量等，新闻来源于NEWS API。通过分析定量金融数据和定性新闻情感，评估其对股票行为的综合影响。

机器学习模型的性能通过MAE、MSE、RMSE和MAPE等指标评估，混合模型（卷积LSTM与LLM结合）在所有指标上优于单独的卷积LSTM模型。

结果表明，股票表现与提供的新闻数据存在直接关系，结合空间数据分析可进一步提高模型准确性。混合方法在其他领域也有广泛应用潜力，如医疗行业可结合历史患者数据与医学文献预测患者结果，供应链管理可结合库存数据与新闻预测潜在干扰。

本研究展示了时间和上下文信息融合的可能性，为各行业决策者提供更全面的洞察和更准确的预测。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述