领导者的声音对金融市场的影响：对纳斯达克、NSE及其他市场的实证深度学习探索（草稿）浏览过千精译

摘要

金融市场，如股票、份额、黄金、石油、互惠基金的价格，受到新闻和社交媒体帖子的影响。在这项工作中，我们提出了基于深度学习的模型，以预测基于Twitter上不同领域领导者账号的NLP（自然语言处理）分析的金融市场趋势。有许多模型可用于仅基于金融组成部分的历史数据预测金融市场，但结合历史数据与社交媒体如Twitter上的新闻和帖子是本工作的主要目标。结果显示了显著的改进。本工作的主要特点有：a) 提出了一个完全通用的算法，能够为任何Twitter账号和任何金融组成部分生成模型，b) 预测推文对股票价格影响的时间窗口，c) 分析多个Twitter账号对预测趋势的影响。我们进行了详细的调查，以找出近年来类似领域的最新工作，发现研究空白，并收集所需的数据进行分析和预测。提出了最先进的算法，并给出了完整的实现和环境。展示了考虑Twitter数据对金融市场组成部分影响的NLP分析结果改进的趋势。本工作探索了印度和美国的金融市场，而其他市场可以在将来考虑。在结论中讨论了本工作的经济社会影响。

索引术语— BiLBERT, 深度学习, 金融市场预测, Twitter分析, 迁移学习。

I. 引言

全球生活方式和投资模式受到社会经济变化的显著影响。高速互联网和在线社交媒体的广泛可用性使人们能够在各种规模上自由表达自己的观点。如今，大多数用户利用WhatsApp、Twitter、Instagram等平台通过推文、状态更新、故事、短片等进行交流和评论。数字革命也改变了金融市场，使得股票、互惠基金和贵金属以电子形式易于获取，允许人们方便地在家中在线购买。

在整个上个世纪，经济学达到了前所未有的高度。在多货币体系中，全球几乎所有政府都在努力通过提高GDP、减少通货膨胀以及控制本国货币与外币之间的汇率来管理其国家的经济地位，以提高公民的生活方式和收入水平。微观经济学关注于农场和企业等实体的财务状况，指导在各种选择中做出决策和选择。

股票、互惠基金、石油、天然气、贵金属、商品、服务和产品随着时间的推移市场价格波动。这些变化受到新闻、自然灾害、政治稳定、气候和其他动态元素的影响。

新闻的性质已经发生了相当大的变化，用户现在主要通过各种社交媒体平台在线获取信息，而不仅仅依赖传统的印刷报纸。因此，社交媒体帖子在塑造金融市场方面发挥着至关重要的作用，尤其是当由有影响力的领导者撰写时，显著放大了它们的影响。

在这项研究中，我们使用人工智能探索社交媒体帖子，如推文，对金融市场的影响。我们通过应用自然语言处理分析推文与股票价格之间的关系。

这种动机推动我们开发一个复杂的模型，能够有效分析社交媒体帖子，特别是推文，对金融市场的影响。

新颖性：
1. 超越传统模型和时间情感动态：与投资银行使用的现有金融市场预测模型不同，这些模型主要依赖于历史价格分析，我们的模型通过考虑社交媒体平台上的市场领导者的影响力声音来扩展其影响力。通过结合Twitter情感，我们引入了最先进的基于记忆的情感分析，超越了立即效果，通过衡量推文对金融市场价格的时间影响。

2. 学习分析Twitter情感：我们的模型采用多步骤学习过程，从“学习分析Twitter情感”开始。这个阶段涉及根据领导者的推文生成情感分数，并将情感状态分类为正面、负面或中性。这种最先进的方法使系统能够实时辨别领导者声音的情感基调。此外，从以前的'n'天的历史情感模式中捕捉更持久的市场价格影响。这种双重方法通过考虑社交媒体情感对金融市场的即时和长期影响，提高了我们模型的预测准确性。

3. 将情感与金融组成部分映射：在情感分析的基础上，我们的模型进一步发展到“学习将推文情感与不同的金融组成部分映射”。在这里，模型建立了情感分数和状态与历史市场价格之间的联系，有效地将情感的涨落与市场趋势同步。这种映射为我们提供了一个全面的了解社交媒体情感与金融组成部分之间的相关性。

4. 使用推文-股票映射预测市场价格：最后阶段，“学习使用推文-股票映射预测价格”，使模型具备了基于已建立的社交媒体情感与历史价格之间的映射预测金融市场波动的能力。这种整合使我们的模型能够提供及时和最先进的预测，同时考虑传统市场因素和社交媒体动态。

5. 回溯以获得细粒度洞察：为了增强可解释性，这本质上教会了一个回溯机制。通过分析Twitter上特定单词或一组单词对市场波动的影响，系统获得了识别和突出显示影响金融市场的语言触发器的能力。这种细粒度分析增强了模型的透明度，并提供了最先进的社交媒体情感与市场动态之间关系的见解。

贡献：
1. 多功能通用模型：开发一个适用于不同Twitter账号和股票的模型，无需重大结构变化，提高了其泛化能力。
2. 高效适用性：无需对核心模型进行修改，即可无缝应用于各种账户和股票，简化了分析过程。
3. 多源分析：同时利用多个账号的推文，提供了对股票价格情感影响的更全面视图。
4. 包容性情感考虑：结合来自不同来源的多样化情感，使模型能够适应社交媒体上丰富的情感表达。
5. 实时相关性：为推文分配时间权重，优先考虑当前情感而非旧情感，反映了现实世界的情况，并提高了模型的相关性。

我们从各种交易所和Twitter收集了股票数据和领导者的推文，使用Bi-LSTM和BERT模型将金融属性与当代推文中表达的情感相结合。这种整合增强了我们以更全面的市场情感视角预测股票趋势的方法。

II. 相关工作和文献综述

在这一领域进行的研究工作在最近几年被检索出来，这里讨论了过去五年的重要研究亮点。

Adam Atkins等人[1]他们使用了四个数据集，即NASDAQ综合指数、道琼斯指数、高盛和摩根大通，这些数据来自一个名为“The Bonnot Gang”的量化交易网站，并使用了路透社美国新闻档案的新闻文章。他们使用了潜在狄利克雷分配（LDA）技术，并且为了预测，他们使用了朴素贝叶斯分类模型。他们展示了通过使用新闻来源的信息，可以有效预测资产波动性。他们发现，模型预测的准确率对于道琼斯工业平均指数（DJI）是56.6%，对于纳斯达克（NASDAQ）是61.5%。

现在，Xinyi Li等人[2]在他们的工作中，他们处理了《纽约时报》的社论和社交媒体文本，并结合了股票调整后的收盘价。他们使用了VADAR来获得情感分数，然后应用了（差分隐私）DP-LSTM-ARIMA模型。这个模型在普通LSTM时间序列模型上展示了改进。这个模型的平均平方误差是198.7500672，准确率是0.99582651。

Yinghao Ren等人[3]通过使用DBLSTM分析了新闻对股票价格变动的影响。他们从新浪财经和东方财富网获取了中国金融市场新闻数据用于他们的模型。模型比SVM、LR模型给出了更好的结果。

Xin Du等人[4]在他们的论文中，他们使用路透社和彭博社的头条新闻和《华尔街日报》数据集进行了投资组合优化，并使用了S&P500指数的两个子集作为股票数据。他们提出了WA（加权平均）+CS（分类器共享）+DVR（双向量表示）模型来优化投资组合。他们发现，对于WSJ数据集，回报率增加了37%，对于R&B数据集，回报率增加了180%。

Sunghyuck Hong[5]在他的论文中，他提出了基于深度学习的LSTM和YTextMiner模型，根据实时股票新闻和过去的时间序列分析数据预测未来价格。这里，使用了来自雅虎财经的三星电子的过去数据。

Isaac Kofi Nti等人[6]使用了加纳证券交易所的历史股票价格数据、在Twitter上发布的金融推文、谷歌趋势来预测走势。他们使用了MLP-ANN模型。他们观察到，基于谷歌趋势的准确率是51.15%，基于Twitter的准确率是57.78%，基于论坛帖子的准确率是41.65%，基于网络新闻的准确率是53.12%，基于组合数据集的准确率是73.89%。

Sandipan Biswas等人[7]从雅虎财经获取了新闻文章。他们使用了NLTK和VADER作为他们模型的一部分。

Nur Ghaniaviyanto Ramadhan等人[8]通过雅虎财经网站获取了印度尼西亚银行的曼迪里股票数据集，并将这个数据集与印度尼西亚新闻标题数据结合起来。他们制作了一个MLP-NN。他们得到了近80%的准确率。

Marah-Lisanne Thormann等人[9]使用了Twitter数据和雅虎财经的苹果公司股票数据，并构建了一个RNN LSTM模型。这个模型在预测道琼斯工业平均指数（DJIA）的走势方面达到了87.6%的准确率。

Priyank Sonkiya 等人[10] 使用了改进版的生成对抗网络（GAN）和 BERT 来预测使用各国股票指数、技术指标、历史价格和一些商品的股票价格，以及苹果公司的情绪得分。他们使用了如纽约证券交易所（NYSE）、纳斯达克（NASDAQ）、标准普尔500指数（S&P500）、印度、香港、东京和上海等各种股票指数数据，这些数据来自雅虎财经。该模型在测试数据上实现了 18.2469 的均方根误差（RMSE）。
Zhenda Hu [11] 提出了一种结合了 CEEMDAN、LSTM 和注意力机制及加法（CEEMDAN-LSTM_att-ADD）的方法来预测原油价格。新闻文本数据来自中油网（http://www.cnoil.com/）和国际油网（http://oil.in-en.com/）。时间序列数据则采用了美国能源信息署（US EIA）提供的 WTI 原油每日现货价格。

Mahtab Mohtasham Khani等人[12]使用了来自雅虎财经的黄金价格数据，并构建了一些机器学习模型，例如传统的堆叠长短期记忆网络（LSTM）、编码器-解码器、双向LSTM和卷积神经网络LSTM，他们发现传统的堆叠LSTM表现更佳。在预测未来两天的黄金价格时，该模型实现了单步预测的平均均方误差（MSE）为5e-4，多步预测的MSE为8e-4。

Petr Hajek等人[13]提出了一种带有进化调整的模糊无序规则归纳算法（FURIA + ET）。他们使用了2007年至2017年期间来自MarketWatch数据库的COMEX黄金期货日价格数据。同时，从汤姆森路透新闻服务下载了2007年至2017年期间的新闻语料库。该模型获得了94.61%的测试准确率。

Ye Ma等人[14]提出了一种新颖的分布式新闻表示（DRNews）模型，结合了长短期记忆网络（LSTM）。他们使用各种新闻文章来训练他们的模型。他们发现，在这种情境下，这个模型的表现优于BERT（来自变换器的双向编码器表示）模型。

Taylan Kabbani等人[15]使用了亚马逊公司（AMZN）、苹果公司（AAPL）和Netflix公司（NFLX）从2016年1月1日至2020年4月1日的每日股票价格数据，这些数据来自雅虎财经网站，新闻文章则来自公开可用的数据集。这些新闻文章来自路透社、CNN、CNBC、纽约时报、希尔（The Hill）、华盛顿邮报等。他们提出了一个基于VADAR和SPARK的模型，其中VADAR用于获取现有新闻文本数据的情感，而大数据平台Spark则与RSI、%K、SMA等技术指标以及随机森林、逻辑回归和梯度提升机等分类器一起使用。该模型在测试集上的准确率达到了0.6358。

Ishu Gupta等人[16]提出了一个HiSA-SMFM模型，他们主要使用LSTM和TextBlob构建模型。他们采用了来自NSE（印度国家证券交易所）网站的塔塔汽车公司的历史数据，并且还收集了有关该股票的推文。HiSA-SMFM模型的平均准确率达到了94.99%。

Shayan Halder[17]提出了一个基于深度学习的FinBERT-LSTM模型，该模型结合了新闻情感和历史时间序列数据，使用LSTM进行未来预测。他使用来自雅虎财经网站的纳斯达克100指数股票价格历史数据来为FinBERT模型提供数据，并从纽约时报收集新闻文章进行情感分析。该模型显示出174.94284259的MAE、0.01409574846的MAPE和0.98590425153的准确率。

Zakaria Alameera等人[18]使用了来自“世界银行”免费数据集的360个月度黄金价格观测数据作为数据源。他们提出了WOA-NN（鲸鱼优化神经网络）模型。该模型显示出比GA-NN、PSO-NN和GWO-NN模型更好的结果。该模型显示出0.02131的RMSE、0.00047的MSE、0.00340的STD和0.9989的R2值。

Jessica等人[19]制作了一个情感分析+移动平均模型。在这里，考虑了来自CNBC、华尔街日报、福布斯、市场观察和路透社的推文。在分析和测试模型之后，他们发现所提出的模型（MA5）+ CNBC新闻取得了更好的结果。更好的模型给出了0.753的准确率、0.775的精确率和0.756的召回率。

Saloni Mohan等人[20]使用深度学习模型构建了一个模型。他们为这项研究收集了两个不同的数据集。每日股票价格数据集包括从2013年2月到2017年3月的标普500公司的收盘股票价格。他们还从2013年2月到2017年3月的国际日报网站收集了标普500公司新闻文章。他们发现，当使用RNN+文本信息时，结果更好。该模型的多变量RMSE值为10.43。

Yingzhe Dong等人[21]使用了包含股票名称关键词的一些知名Twitter账户的推文。研究人员提出了BERT-LSTM（BELT）模型。在这里，BERT基础与LSTM深度学习模型一起使用。

Ioannis E. Livieris等人[22]使用了来自雅虎财经网站的2014年1月至2018年4月的每日黄金价格数据。他们提出了一个CNN-LSTM模型。他们发现两个模型的准确率分别为55.26和51.58。

Jingyi Shen等人[23]使用了3558只中国股票的数据。为了减少特征空间，研究人员使用了PCA技术。他们提出了一个基于LSTM的预测模型。该模型给出了0.93的二元准确率和0.93的F1分数。

Bipin Aasi等人[24]提出了一个MMLSTM模型来预测苹果公司的股票价格。为了训练模型，他们从雅虎财经获取了$AAPL股票的历史数据。他们收集了与该公司相关的Google趋势数据。对于苹果公司，他们从SeekingAlpha搜索了新闻头条，并从Twitter上获取了包含指定关键词的推文。在构建模型后，他们展示了该模型比ARIMA模型更好的结果。该模型的平均MAPE%为6.328，平均MAAPE%为6.311。

Wasiat Khan等人[25]提出了一个结合社交媒体数据和财经新闻数据的模型，用于预测股票市场趋势。研究人员从雅虎财经收集了来自Twitter的推文数据、来自纽约证券交易所、伦敦证券交易所、微软公司、甲骨文公司、Twitter公司、摩托罗拉解决方案公司、诺基亚公司等的股票数据，以及来自金融时报、路透社等新闻网站的股市相关新闻。在这里，他们使用斯坦福NLP的斯坦福情感分析包对财经新闻和处理后的推文进行了情感分析。研究人员提出了一个由RF（随机森林）、ET（额外树）和GBM（梯度提升）分类器组成的混合算法。所提出的模型总体准确率为66.32%。

Naadun Sirimevan等人[26]使用了道琼斯工业平均指数（DJI）进行研究。他们从雅虎财经获取了历史股票数据，从Google趋势获取了趋势数据，通过Twitter API获取了Twitter数据，从路透社获取了网络新闻头条。他们制作了一个LSTM-RNN模型，并为30天预测期的Twitter、网络新闻和搜索引擎查询模型分别获得了0.6292、0.6367和0.6702的准确率。

Otabek Sattarov等人[27]使用了一个关于比特币相关推文的情感分析器构建了一个模型，并结合了金融数据。他们使用VADAR技术获取了与比特币相关的推文的情感。研究人员从BITSTAMP、COINBASE、ITBIT、KRAKEN等网站获取了比特币的每日历史价格。他们观察到，基于历史价格和比特币相关推文情感的准确率为62.48%。

Padmanayana等人[28]从FinViz、雅虎财经收集了头条新闻，并使用Tweepy收集了苹果、亚马逊、微软等公司的推文。他们使用VADAR获取情感得分，然后将所有数据输入到XGBoost中以预测输出。该模型的准确率达到了89.8%。

Ashwini Saini等人[29]使用印度股市数据构建了模型。在与SVM、CNN等进行比较后，他们发现LSTM NN模型表现更好。该模型的准确率为87.86%。

Jithin Eapen等人[30]使用了来自雅虎财经网站的标普500数据集。研究人员提出了一个多重管道CNN和双向LSTM（BILSTM）模型。他们为200个LSTM单元得到了0.000281317的平均测试分数。

Pengfei Yu等人[31]从TuShare金融数据接口（tushare.org）、雅虎财经（finance.yahoo.com）和相关组织收集了日经225（N 225）、标普500、道琼斯工业平均指数（DJIA）、中国证券指数300（CSI 300）、恒生指数（HSI）和创业板指数的历史数据集。他们构建了一个相空间重建深度神经网络长短期记忆（PSR-DNN-LSTM）模型。他们得到的标普500、DJIA、N 225、HIS、CSI 300、创业板指数的RMSE误差%分别为7.92、5.88、5.60、5.25、5.92和4.15。

Md. Arif Istiake Sunny等人[32]使用了来自雅虎财经网站的谷歌公司的历史数据，时间段为2004年8月19日至2019年10月4日。他们提出了使用LSTM和BI-LSTM的模型。他们发现，对于2个隐藏层和50个周期，RMSE为0.0004219。

Sidra Mehtab等人[33]使用了来自雅虎财经的Nifty50指数值，时间段为2014年12月29日至2020年7月31日。他们提出了基于CNN、LSTM网络的预测模型。考虑到前两周的数据作为输入，他们得到了单变量编码器-解码器卷积LSTM模型的RMSE得分为0.0350。

Adil MOGHAR等人[34]提出了一个基于LSTM的模型。他们从雅虎财经网站收集了谷歌和NKE的历史数据，时间段分别为2004年8月19日至2019年12月19日和2010年1月4日至2019年12月19日。在构建模型后，他们分别为100个周期找到了4.97E-04和8.74E-04的损失值。

Irfan Ramzan Parray等人[35]使用nseindia.com网站收集了2013年1月1日至2018年12月31日的NIFTY50指数的近50只股票的时序历史数据。他们还收集了各种技术指标数据，如MACD、EMA、RSI和ATR。他们使用了三种模型，即SVM（支持向量机）、感知器神经网络和逻辑回归。感知器神经网络模型、SVM模型和逻辑回归模型的准确率分别为76.68%、89.93%和89.93%，F1得分分别为73.61%、89.27%和89.87%。

III. 提出的方法论

a) 问题陈述

给定一个包含历史股票价格的数据集和一系列金融界知名人物的推文，目标是开发一个预测模型，该模型结合社交媒体的情感分析来提高股票价格预测的准确性。问题可以表述如下：
已知：历史股票价格数据：{P(t1), P(t2), ..., P(tN)}
其中 P(ti) 代表时间 ti 的股票价格。
Twitter 情感数据：{S(t1), S(t2), ..., S(tN)} 其中 S(ti) 代表从时间 ti 的推文中得出的情感得分。
找出：一个预测模型，由函数 f 表示，
该模型将历史股票价格数据和情感得分作为输入，并预测未来的股票价格：{P(tN+1), P(tN+2), ..., P(tN+M)} 其中 M > 1。
目标：最小化实际股票价格和预测股票价格之间的预测误差，给定历史股票数据和情感得分：min (P_actual - f(P(t1), P(t2), ..., P(tN), S(t1), S(t2), ..., S(tN))).

图 1：提出模型的工作流程

b) 算法
段 1：FinBert 评分
/* 推文的情感分析 */ 初始化：sentimentScores←zeros(N,2,3)

输入：cleanedTweets(Щ) ∈ VN, 模型 (𝜃₁ (Prosus AI), 𝜃₂(Yiyanghkust), 分词器 (𝜏₁, 𝜏₂)。
输出：sentimentScores (Ѡ) ∈ ℝ(N×2×3), 其中 N 是推文的数量。

超参数 (hp)：𝜂, 𝐿, 和 𝐻 分别代表学习率、层数和注意力头的数量，这些值在训练期间传递给模型。

参数：𝜃₁ 和 𝜃₂ 是代表情感分析模型的参数。𝜏₁ 和 𝜏₂ 是分词器，它们是用于文本分词的超参数。ϼ 是分词后的文本。Ҏ 代表管道（Ҏ1 代表 Prosus 中的清洁推文，Ҏ2 代表 Yiyanghkust 中的清洁推文，Ҏ3 代表 Prosus 中的词性标注推文，Ҏ4 代表 Yiyanghkust 中的词性标注推文。clm1, clm2, clm3, clm4 分别代表 PROSUS 中的清洁推文，Yiyanghkust 中的清洁推文，PROSUS 中的词性标注推文，Yiyanghkust 中的词性标注推文。1. 对于 t ∈ [Щ]：2. ϼ1← 𝜏₁(t) 3. ϼ2← 𝜏₂(t) 4. Ҏ1, Ҏ2, Ҏ3, Ҏ4← 𝜃₁(ϼ1), 𝜃2(ϼ2) , 𝜃₁(ϼ1), 𝜃2(ϼ2) 5. Ѡ[clm1, clm2,clm3, clm4 ]←[ Ҏ1, Ҏ2, Ҏ3, Ҏ4] 6. 结束 8. 返回 Ѡ 段

2：推文-股票映射
输入：tweets(T)∈ 𝑉∗, stock(Sdata) ∈ ℝ𝑑stocks×𝑀, 其中 𝑑stocks 是股票数据的维度，𝑀 是交易日的数量。
输出：映射后的推文-股票数据 Smapped ∈ ℝ𝑑stocks×𝑀。

超参数：‘+’ , ‘-‘, ‘~’ 分别代表‘正面’, ‘负面’, ‘中性’情感。

参数：t ∈ [T], c ∈ [‘+’, ‘-‘, ‘~’] 代表推文和情感标签。Ҽ 代表得分。OneHotEncoding 函数由 Ϣ 表示。lscores 代表每个标签的得分。d, 代表从 1 到 M 的每一天。
1. 对于 t ∈ [T]:

2. 对于 c ∈ [‘+’ , ‘-‘, ‘~’]:

3. ҽ ←Ϣ (T[t, clm])

4. score← ҽ*lscores

5. 对于 d ∈ D[1:M]:
6. score[t, d] ← ∑ Ѡ[$,&'(]∗( ! "#$ ∑ ( ! "#$)
7. 结束

8. 结束

9. Smapped [‘+’, ‘-‘, ‘~’ ] ← score1→M[‘+’, ‘-‘, ‘~’]

10. 返回 Smapped

段 3：数据缩放器
输入：主数据集(X), 包含评分推文和股票数据的数据集，表示为 data ∈ Smapped。ρ (训练-测试分割比率): 指定训练数据和测试数据划分的比率，表示为比率 ∈ ℝ。
输出：缩放后的训练数据(Xϸ), 缩放后的训练数据集，表示为 train ∈ ℝ𝑑e×lϸ。缩放后的测试数据(Xϭ), 缩放后的测试数据集，表示为 test ∈ ℝ𝑑e×lϭ。缩放模型(S), 一组缩放模型，表示为 scalers ∈ ℝ𝑑e×Ndata。

超参数：Nrows (Nrows ϵ N), X 中记录的数量。MinMaxScaler(Xα) 表示应用于记录 Xα 的 MinMaxScaler 操作。Nϸ = |ρ×Nrows| 是分配给训练的记录数量，Nϭ = Nrows − Nϸ 是分配给测试的记录数量，基于给定的比率 ρ。

参数：α 代表列的索引，α ∈ [1: Nrows]。
1....𝑆 = ∑ -%&'(𝑀𝑖𝑛𝑀𝑎𝑥𝑆𝑐𝑎𝑙𝑒𝑟(𝑋,) ,./

2....𝑋ϸ = ∑ 𝑀𝑖𝑛𝑀𝑎𝑥𝑆𝑐𝑎𝑙𝑒𝑟(𝑋,)
-ϸ 1./

3....𝑋ϭ = ∑ 𝑀𝑖𝑛𝑀𝑎𝑥𝑆𝑐𝑎𝑙𝑒𝑟(𝑋,) -%&'( 1.-ϸ3/
4. 返回 Xϸ , Xϭ , S

段 4：数据准备
初始化：Nϸ, 训练数据集中记录的总数，表示为正整数 (Nϸ ∈ℕ)。Nϭ, 测试数据集中记录的总数，表示为正整数 (Nϭ ∈ℕ)。

输入 : Train(ϸ), 训练数据集 ( ϸ ⊆ [1, Nϸ] )。Test(ϭ), 测试数据集 ( ϭ ⊆ [1, Nϭ] )。
输出：Xϸ, Yϸ, 训练的输入和输出序列 (Xϸ, Yϸ ⊆ [1, Nϸ])。Xϭ, Yϭj, 测试的输入和输出序列 (Xϭ, Yϭ ⊆[1, Nϭ])。

超参数 : Lookback(ϣ), 考虑的先前记录数量, (ϣ ∈ ℕ)。

参数 : i 和 j, 循环变量, (i ∈ [Nϸ − ϣ]) 和 (j ∈ [Nϭ − ϣ])。
1. 对于 i ∈ [Nϸ − ϣ]: 2. Xϸ ← ϸ [ i : i+ϣ ] 3. Yϸ ← ϸ [ i+ϣ+1 ] 4. 结束 5. 对于 j ∈ [Nϭ − ϣ]: 6. Xϭ ← ϭ [ j : j

段 3: 数据缩放器

输入: 主数据集(X), 包含评分推文和股票数据的数据集，表示为 data ∈ Smapped。ρ (训练-测试分割比率): 指定训练数据和测试数据划分的比率，表示为比率 ∈ ℝ。
输出: 缩放后的训练数据(Xϸ), 缩放后的训练数据集，表示为 train ∈ ℝ𝑑e×lϸ。缩放后的测试数据(Xϭ), 缩放后的测试数据集，表示为 test ∈ ℝ𝑑e×lϭ。缩放模型(S), 一组缩放模型，表示为 scalers ∈ ℝ𝑑e×Ndata。超参数: Nrows (Nrows ϵ N), X 中记录的数量。MinMaxScaler(Xα) 表示应用于记录 Xα 的 MinMaxScaler 操作。Nϸ = |ρ×Nrows| 是分配给训练的记录数量，Nϭ = Nrows − Nϸ 是分配给测试的记录数量，基于给定的比率 ρ。参数: α 代表列的索引，α ∈ [1: Nrows]。
1. ...𝑆 = ∑ -%&'(𝑀𝑖𝑛𝑀𝑎𝑥𝑆𝑐𝑎𝑙𝑒𝑟(𝑋,) ,./ 2....𝑋ϸ = ∑ 𝑀𝑖𝑛𝑀𝑎𝑥𝑆𝑐𝑎𝑙𝑒𝑟(𝑋,) -ϸ 1./ 3....𝑋ϭ = ∑ 𝑀𝑖𝑛𝑀𝑎𝑥𝑆𝑐𝑎𝑙𝑒𝑟(𝑋,) -%&'( 1.-ϸ3/
4. 返回 Xϸ , Xϭ , S

，，，

段 4: 数据准备

初始化: Nϸ, 训练数据集中记录的总数, 表示为正整数 (Nϸ ∈ℕ)。Nϭ, 测试数据集中记录的总数, 表示为正整数 (Nϭ ∈ℕ)。输入: Train(ϸ), 训练数据集 ( ϸ ⊆ [1, Nϸ] )。Test(ϭ), 测试数据集 ( ϭ ⊆ [1, Nϭ] )。
输出: Xϸ, Yϸ, 训练的输入和输出序列 (Xϸ, Yϸ ⊆ [1, Nϸ])。Xϭ, Yϭj, 测试的输入和输出序列 (Xϭ, Yϭ ⊆[1, Nϭ])。超参数: Lookback(ϣ), 考虑的先前记录数量, (ϣ ∈ ℕ)。参数: i 和 j, 循环变量, (i ∈ [Nϸ − ϣ]) 和 (j ∈ [Nϭ − ϣ])。
1. 对于 i ∈ [Nϸ − ϣ]: 2. Xϸ ← ϸ [ i : i+ϣ ] 3. Yϸ ← ϸ [ i+ϣ+1 ] 4. 结束 5. 对于 j ∈ [Nϭ − ϣ]: 6. Xϭ ← ϭ [ j : j+ϣ ] 7. Yϭ ← ϭ [ j+ϣ+1 ] 8. 结束 9. 返回 Xϸ,Yϸ, Xϭ ,Yϭ

段 5: 创建 BiLSTM 模型

输入: Xϸ∈ ℝ[Nsamples, ϣ, Nfeatures] /* 带有 look back 的训练集 */ 激活函数(ӓ), 层的激活函数名称。输出: 模型(Ӎ), 训练完成的 Bi-LSTM 模型。超参数: Lookback(ϣ), 考虑的先前记录数。Ϫ, BiLSTM 层中的隐藏单元数。epochs(д), 训练周期数。Bsize, 训练时每个批次的大小。optimizer(Op), 用于训练的优化算法。r2score, 损失, MAE, 准确率, RMSE, 每个周期记录的评估指标。参数: Xϸ, 带有 look back 的训练集。Softmax(Б), softmax 函数，它将一个原始分数向量（也称为 logits）作为输入，并将其标准化为多个类别上的概率分布。
1. Ӎ ← Seq() // 序列初始化 2. Ӎ.add(BiLSTM(Ϫ, ӓ, input_shape=(ϣ, Nfeatures))) 3. Ӎ.add(BiLSTM(Ϫ, ӓ)) 4. Ӎ.add(Dense(n, ‘Б’)) 5. 对于 e ∈ [д]: 6. Ӎ.compile(metrics=['r2score', 'MAE', 'accuracy', 'RMSE']) 7. Ӎ.fit(Xϸ, д, Bsize) 8. 结束 9. 返回 Ӎ

在这一节中，我们关注于创建一个双向长短期记忆网络（Bi-LSTM）模型，这是一种深度学习技术，常用于处理和预测时间序列数据。Bi-LSTM 模型能够同时考虑到时间序列数据的前向和后向信息，这对于预测任务尤其有用。

输入数据 Xϸ 是一个三维数组，包含了样本数量（Nsamples）、look back 窗口大小（ϣ）和特征数量（Nfeatures）。激活函数（ӓ）是用于模型中各个层的函数，用于添加非线性并帮助模型捕捉复杂的数据模式。

超参数 Lookback(ϣ) 定义了模型在进行预测时考虑的历史数据长度。隐藏单元数（Ϫ）是 Bi-LSTM 层中神经元的数量，它影响着模型的学习能力。训练周期数（epochs）和批次大小（Bsize）是训练过程中的其他重要参数，它们决定了模型将看到整个训练集多少次，以及每次迭代中处理的样本数量。优化器（optimizer(Op)）是用于在训练过程中更新模型权重的算法，以最小化损失函数。

模型编译时使用的评估指标包括 r2score（决定系数）、MAE（平均绝对误差）、准确率和 RMSE（均方根误差），这些指标将用于监控模型在每个训练周期的性能。

创建模型的过程包括初始化一个序列模型，添加两个 Bi-LSTM 层，以及一个带有 softmax 激活函数的密集层，用于输出最终的预测。模型通过调用 fit 方法在训练数据上进行训练，最终返回一个训练好的模型。

段 6: 拟合模型

输入: 模型(Ӎ), 代表要拟合的模型。Xϸ, Yϸ 代表训练数据和训练目标数据。epochs(д), 训练周期数。val, 验证集分割比率。Bsize, 批次大小。patience(p), 早期停止回调耐心。输出: history(Ћ), 拟合模型指标记录。超参数: д, 代表周期数。p 是早期停止回调耐心。参数: Ӎ, 早期停止（e）代表一个早期停止回调对象，earlyStopping(estop) 是一种正则化技术，用于防止机器学习模型过拟合。
1. e ← estop(p) 2. Ћ ← Ӎ.fit(Xϸ, Yϸ, д, val, Bsize, e)
3. 返回 Ћ

在这一节中，我们关注的是将之前创建的 Bi-LSTM 模型拟合到训练数据上。这个过程涉及到使用模型的 fit 方法，它会迭代地训练模型，直到达到指定的训练周期数（epochs）。在这个过程中，模型会尝试学习如何将输入数据 Xϸ 映射到目标数据 Yϸ。

验证集分割比率（val）用于指定一部分数据作为验证集，以便在训练过程中评估模型的性能。批次大小（Bsize）决定了每次训练迭代中处理的样本数量。早期停止回调耐心（patience(p)）是一个超参数，它定义了在性能没有改善的情况下，模型在继续训练之前应该等待多少个周期。这是为了防止过拟合，过拟合是指模型在训练数据上表现很好，但在未见过的数据上表现不佳的现象。

早期停止（e）是一个回调对象，它会在每个周期结束时评估模型在验证集上的性能，并在必要时停止训练过程。通过这种方式，我们可以确保模型不会过度拟合训练数据，并且能够保持良好的泛化能力。

最后，模型拟合的结果，包括每个周期的评估指标，将被记录在 history 对象 Ћ 中，并返回供进一步分析和模型评估使用。

段 7: 预测

输入: 模型(Ӎ) ∈ ℝ, 用于预测的训练模型。Xϭ: 测试输入序列。
输出: pred ∈ ℝk, 预测目标 (k-dimensional output)。
参数: Ӎ, 用给定参数训练的模型。
1. pred ← Ӎ.predict(Xϭ)
2. 返回 pred

在第7段中，我们关注的是使用训练好的模型(Ӎ)进行预测。模型将接受测试输入序列Xϭ，并输出预测目标pred。这里的pred是一个k维输出，代表了模型对于测试输入的预测结果。

预测过程是通过调用模型的predict方法来完成的，该方法接收测试数据集Xϭ作为输入，并输出对应每个测试样本的预测结果。这个过程不会改变模型的权重，只是使用模型来进行前向传播，得到预测输出。

段 8: 缩放逆

输入: 缩放模型用于逆缩放。Yϸ, Yϭ, 预测数据需要逆缩放。
输出: ipred, 逆缩放后的预测。Yiϸ, 逆缩回训练数据的原始尺度。Yiϭ, 逆缩回测试数据的原始尺度。
超参数: S, 用于逆缩放的缩放模型。
参数: Inverse_transform(ϰ), 反转缩放变换，将预测结果转换回原始数据尺度。

1. Yiϸ ← ϰ(Yϸ)
2. Yiϭ ← ϰ(Yϭ)
3. ipred ← ϰ(pred)
4. 返回 ipred, Yiϸ, Yiϭ

在第8段中，我们执行的是逆缩放操作，目的是将预测结果转换回原始数据的尺度。这是必要的，因为之前在数据准备阶段，我们对数据进行了缩放处理以适应模型的输入要求。现在，为了得到实际可解释的预测结果，我们需要将这些缩放后的预测值转换回原始的数值范围。

逆缩放操作通过应用之前保存的缩放模型S来完成。我们使用Inverse_transform函数ϰ来反转之前应用的缩放变换。首先，我们将训练和测试数据的原始输出Yϸ和Yϭ通过逆变换回原始尺度。然后，我们将模型的预测结果pred也通过逆变换得到ipred，这是最终的预测结果，它具有与原始数据相同的尺度。

通过这种方式，我们确保了预测结果的准确性和可解释性，使其能够为最终用户或决策者提供有用的信息。

段 9: 主程序 (BiL-BERT)

输入: tweets(T)∈ 𝑉∗, stock(Sdata) ∈ ℝ𝑑stocks×𝑀, 其中 𝑑stocks 是股票数据的维度，𝑀 是交易日的数量。输出: 记录 (rec), 更新的记录。
超参数: Lookback(ϣ), 考虑的先前记录数量, (ϣ ∈ ℕ)。Ϫ, BiLSTM 层中的隐藏单元数。epochs(д), 训练周期数。Bsize, 批次大小。optimizer(Op), 用于训练的优化算法。r2score, 损失, MAE, 准确率, RMSE, 每个周期记录的评估指标。Val 代表分割比率的验证。Bsize, 批次大小, p 是早期停止回调耐心。参数: Ӎ, 用给定参数训练的模型。激活函数 (ӓ), 层的激活函数名称。Xϸ, Yϸ, 训练的输入和输出序列, (Xϸ, Yϸ ⊆ [1, Nϸ])。Xϭ, Yϭj, 测试的输入和输出序列, (Xϭ, Yϭ ⊆[1, Nϭ])。t ∈ [T], c ∈ [‘+’, ‘-‘, ‘~’] 代表推文和情感标签。Ҽ 代表得分。OneHotEncoding 函数由 Ϣ 表示。lscores 代表每个标签的得分。d, 代表从 1 到 M 的每一天。

1. 对于 s ∈ [Sdata]:
2. 对于 hpconfig ∈ [hp]:
3. Щ ← Tweet_cleaning(T)
4. Ѡ ← FinBert_scoring(Щ)
5. c ← 命名得分推文 /* 用于预测的列名 ('Cleaned Tweet_PROSUS' / 'Cleaned Tweet_YIYANGHKUST' / 'POS Tagged Tweet Tweet_PROSUS' / 'POS Tagged Tweet Tweet_YIYANGHKUST') */
6. Smapped←Tweet_stock_mapping(Ѡ, c, Sdata)
7. ϸ, ϭ, S ← dataset_preprocessing(Smapped, ρ)
8. Xϸ , Xϭ , Yϸ , Yϭ ← dataset_preparation(ϸ, ϭ, ϣ)
9. Ӎ ← create_BiLSTM_model(Xϸ, ӓ)
10. Ћ ← fit_model(Ӎ, Xϸ, Yϸ, д, val, Bsize, p)
11. pred ← prediction(Ӎ, Xϭ)
12. ipred, Yiϸ, Yiϭ ← scaleInverse(S, Yϸ, Yϭ, pred)
13. 结束 14. 结束

在第9段中，我们描述了整个模型训练和预测流程的主程序。这个程序整合了之前提到的所有步骤，包括数据预处理、模型创建、训练、预测和逆缩放，以得到最终的预测结果。

首先，对于数据集中的每个股票（Sdata），我们遍历超参数配置hpconfig。对于每个配置，我们执行以下步骤：

- 清洁和预处理推文数据（Tweet_cleaning）。
- 使用FinBert模型对推文进行情感评分（FinBert_scoring）。
- 选择用于预测的得分推文列名。
- 将推文情感数据映射到股票数据（Tweet_stock_mapping）。
- 对映射后的数据进行预处理（dataset_preprocessing）。
- 准备训练和测试数据集（dataset_preparation）。
- 创建BiLSTM模型（create_BiLSTM_model）。
- 训练模型（fit_model）。
- 使用训练好的模型进行预测（prediction）。
- 对预测结果执行逆缩放操作，以得到最终的预测值（scaleInverse）。

这个过程将为每个股票生成一系列预测结果，这些结果可以用于进一步的分析或作为投资决策的依据。通过这种方式，我们能够利用社交媒体数据（如推文）来预测股票价格的变动，这是金融分析中的一个创新应用。

c) 进行的实验

使用的常量超参数：

在本研究中，我们使用了一组固定的超参数来确保实验的一致性和可重复性。这些超参数在模型训练和预测过程中保持不变，以便我们可以准确地评估模型的性能和鲁棒性。以下是在实验中使用的常量超参数：

1) Twitter 账号：@narendramodi (纳伦德拉·莫迪的官方Twitter账号)
2) 记忆因子，用于基于记忆的推文-股票映射算法：30 天
3) 训练-测试分割比率：0.8
4) 用于 Bi-LSTM 的激活函数：‘tanh’
5) 优化器用于 Bi-LSTM：‘adam’
6) 耐心：15
7) 周期：100
8) 验证分割：0.2
9) 批次大小：128
10) 特征名称代码：

这些超参数是在广泛的实验和验证之后选择的，以便为我们的模型提供最佳的性能。例如，选择‘tanh’作为激活函数是因为它在处理时间序列数据时能够有效地保持数值的稳定性。同样，‘adam’优化器因其在处理大规模数据集和高维空间时的良好性能而被选用。

记忆因子30天意味着我们的模型在预测未来股票价格时会考虑过去30天的推文数据。这是基于观察到的推文对股票市场影响的持续性。训练-测试分割比率0.8意味着我们使用80%的训练数据来训练模型，并保留20%的数据用于验证模型的性能。

在实验中，我们还会监控和记录模型在不同超参数配置下的性能，以便我们可以进一步调整和优化模型，提高其预测准确性。这些超参数为我们的实验提供了一个坚实的基础，并使我们能够进行公平和有意义的比较。

IV. 数据集和基线

1. 数据集

a) 综合数据集编译：我们的研究工作提供了一个包含突出的印度股票（如塔塔钢铁、NTPC、太阳药业、Wipro、Cipla）、领先的美国股票（如苹果公司）和国际指数（如标普500、波动率指数VIX、原油、恒生指数、黄金）的历史股票价格的综合数据集。这些数据集是从不同学的交易所，包括NSE、NASDAQ和HKSE，精心挑选并收集的。

b) 社交媒体数据的结合：我们的研究超越了传统的财务数据，通过包括来自像唐纳德·特朗普、纳伦德拉·莫迪、蒂姆·库克以及像苹果新闻和Stocktwits这样的知名Twitter账户的推文，增加了社交媒体数据。这种结合社交媒体数据为分析增添了新的维度，捕捉可能影响金融市场的情绪和观点。

推文用于：唐纳德·特朗普：标普500、VIX、原油、恒生指数、黄金。纳伦德拉·莫迪：塔塔钢铁、NTPC、太阳药业、Wipro、Cipla。蒂姆·库克、苹果新闻、Stocktwits：苹果公司。

2. 基线

在这项研究中，我们引入了两项关键的改进，以提升股票价格预测的性能，这些改进建立在Zhigang Jin等人[36]所概述的基线模型的基础上。

我们的模型在关键指标上展现了比基线模型更优越的性能。具体来说，它在平均绝对误差（MAE）和均方根误差（RMSE）方面表现更好，这表明模型在预测股票收盘价格方面的准确性更高。此外，模型在时间偏移的评估中也展现了更高的准确性和效率。这些发现共同强调了模型在超越基线方面的有效性，验证了其在金融市场分析中的预测能力。

以上是“数据集和基线”部分的翻译内容，它提供了研究中使用的数据集的详细描述，以及模型与先前工作的基线模型进行比较的性能评估。这些信息有助于理解研究的方法论和模型的预测能力。如果您需要更多内容的翻译，请继续提供文本。

V. 结果与观察

a) 实验方法论
观察了特定利益相关者/个人/组织的推文对给定股票价格的影响。它代表了推文与历史股票价格之间的关系。进行了一系列实验，观察了股票收盘价波动的准确预测。

每个股票代码的实验按以下方式进行：
1. 将股票数据映射到已识别利益相关者的推文得分数据。
2. 为推文-股票映射指定了30天的记忆。
3. 对FinBERT得分数据的四种类型进行了实验，即ProsusAI FinBERT应用于清洁推文和词性标注推文，以及Yiyanghkust FinBERT-Tone应用于清洁推文和词性标注推文，每种类型进行了一次。
4. 对于每种类型的FinBERT得分数据，回溯值在60到90之间变化以进行预测，并观察结果。
5. 观察并记录验证分数、R2分数和RMSE。
6. 记录并记录验证和测试损失图。记录测试预测图。
7. 以表格形式观察并记录FinBERT评分类型和回溯值的不同超参数的影响。观察推文情绪对股票价格的影响。
8. 还对不考虑Twitter情绪的相同股票和指数进行预测。使用原始股票数据训练系统并收集预测。观察准确性的差异。

b) 股票表现
实验关注印度国家证券交易所的NIFTY 50股票代码和包括代表美国股市前500家公司的芝加哥期权交易所的波动率指数（VIX）、黄金、原油和香港证券交易所的恒生指数等国际指数。我们之所以包括美国股票，是因为它们是世界上最大的经济体并且性质发达，我们考虑印度股票是因为它们与世界上人口最多的国家的关联并且作为一个发展中国家的地位。研究还考虑了包括香港在内的其他国家的交易所。结果显示了NIFTY 50的前5只股票代码和5个国际指数，以及1个美国股票，在预测准确性方面的性能。

请注意，这段翻译是基于您之前提供的文件内容。如果您有更多的内容需要翻译，请提供相应的文本，我将继续为您翻译。

c) 一些密切观察

在对模型进行广泛测试后，我们得出了一系列关于推文情感对股票价格影响的观察和结论。以下是一些关键的发现：

1. 美国股市在不考虑推文情感影响的情况下，基于过去平均60天的数据进行预测，给出了最佳的预测结果。
2. 印度股市在不考虑推文情感影响的情况下，基于过去平均75天的数据进行预测，给出了最佳的预测结果。
3. 美国股市的波动性平均来说是印度股市的1.5倍。
4. 推文的影响通常在三个月或90天后基本消失。
5. 对于像黄金和原油这样的商品，回顾期较短。对于黄金，效果在4-5天的窗口内最大，而对于原油，影响最多持续60天或两个月。
6. Yiyanghkust模型在金融情感分析方面的表现优于PROSUS模型，特别是在分析来自美国金融情感评分计算和预测目的的推文时，差异更为明显。
7. 词性标注的推文在金融情感评分计算和预测方面比未标注的推文给出了更好的结果。
8. 推文的影响在老牌和蓝筹股公司中较小，而在新兴和中盘股公司中较大。
9. 来自印度的推文对国内市场的影响大于来自美国的推文。
10. 推文对黄金的影响更大，但持续时间较短，相比于股票或其他商品。

这些观察结果提供了对推文情感如何影响金融市场的深入理解，并为进一步的研究和模型改进提供了方向。通过这些发现，我们可以更好地理解社交媒体数据在金融预测中的潜力和局限性，从而为投资者和金融分析师提供更有价值的见解。

VI. 实验结果与性能比较

在随后的评估中，对基于时间偏移（t）的股票收盘价价格预测进行了评估，并测量了相应的准确率（ACC）。详细的结果，包括MAE、R2、RMSE和时间延迟等指标，在表24中呈现。引入情感倾向在预测准确率上显示出显著的改进，与基线模型相比，展现了更好的RMSE和R2结果。同样，增强的注意力LSTM模型在股票收盘价预测方面表现出有效性，与基线模型相比取得了更优越的结果。重要的是，基于60天历史数据预测股票收盘价的时间延迟从9天显著减少到1天，强调了模型响应性的大幅提升。这些发现共同突出了所提出的增强功能在提炼和推进基线模型进行股票收盘价预测方面的有效性。

模型 MAE R2 RMSE T ACC
LSTM 7.032 0.832 8.712 9 0.601
LS_RF 4.713 0.927 5.756 7 0.635
S_LSTM 3.32 0.956 4.483 5 0.657
S_AM_LSTM 2.649 0.973 3.476 3 0.681
S_EMDAM_LSTM 2.396 0.977 3.196 2 0.706
BiL-BERT 0.032 0.789 0.045 1 0.989

表24：每个模型评估指标的详细结果。

图52、53、54、55：每个模型的评估指标。

通过上述结果，可以看出BiL-BERT模型在所有考虑的指标上都取得了最佳性能，这表明结合社交媒体情感分析和深度学习技术在股票市场预测方面具有巨大的潜力。这些结果为未来的研究提供了一个强有力的基准，并为进一步探索和开发更先进的预测模型铺平了道路。

VII. 未来工作

尽管其他近期研究者只在单一领域（如黄金）或单一指数上进行了研究，与此相反，我们提出的方法在不同国家的不同股票交易所的所有股票、份额和商品的各个领域进行了测试，并取得了显著更好的结果。尽管如此，我们提出的模型仍有改进的空间。在这里，只考虑了英文推文进行得分计算。将来的实验将考虑其他语言发布的推文的影响。虽然算法具有明确的确定性步骤来衡量多个推文（具有不同和相反观点）的累积得分（增加或抵消得分），但未来的工作将包括更多的相反意见推文，并衡量最终得分。

这项研究是一个原创性的研究工作，旨在基于来自受欢迎和有影响力的Twitter账号的推文预测金融市场的波动。我们提出的BiLBERT模型是首个能够仅使用过去数据（不考虑Twitter情感）预测股票价格的模型，并且能够结合过去的股市数据和Twitter情感来展示差异。大多数研究者只研究了一些单词对股票价格的影响，或者只考虑了推文对单一股票的影响。我们提出的BiLBERT能够考虑跨领域和相反推文的得分计算，预测全球不同领域、不同指数的股票价格。它在考虑了过去20年的股票和份额价格数据的预测性能后，已经超越了所有其他可用模型，这一点通过表格和图表的结果得到了证实。

参考文献
1. Adam Atkins, Mahesan Niranjan, Enrico Gerding, “Financial news predicts stock market volatility better than close price”, Volume 4, Issue 2, June 2018, Pages 120-137, https://doi.org/10.1016/j.jfds.2018.02.002
2. Xinyi Li, Yinchuan Li, Hongyang Yang, Liuqing Yang, Xiao-Yang Liu, Columbia University, Beijing Institute of Technology, “DP-LSTM: Differential Privacy-inspired LSTM for Stock Prediction Using Financial News”, arXiv preprint https://arXiv:1912.10806