动态知识图谱在金融市场趋势预测中的应用_动态知识图谱金融应用-CSDN博客

本文链接：https://blog.csdn.net/xx_nm98/article/details/143027945

Content

本文介绍了一种结合大型语言模型（LLMs）和动态知识图谱（DKGs）的新方法，用于检测金融市场中的全球趋势。文章提出了一种名为集成上下文知识图谱生成器（ICKG）的新型开源微调大型语言模型，用于从金融新闻文章中生成动态知识图谱FinDKG。此外，文章还提出了一种基于注意力的图神经网络架构KGTransformer，用于分析FinDKG，并在链接预测任务上展示了其优越性能。KGTransformer还能够在FinDKG上进行主题投资，超越了现有的主题交易所交易基金（ETFs）。

1. 引言

知识图谱（KG）是一种编码实体及其关系的数据结构，而动态知识图谱（DKG）通过加入时间戳扩展了静态KG，以捕获事件的时间演变。在金融应用中，DKG可用于基于金融新闻文章信息的战略主题投资。文章提出了一种使用大型语言模型（LLMs）作为DKG生成器的方法，并开发了一个微调的LLM，即ICKG，以系统地从文本数据中提取实体和关系，并将它们组装成事件四元组。

2. 相关工作

图表示学习通过图神经网络（GNNs）是深度学习的一个快速增长的分支，专注于提取图的低维潜在空间表示，以提高下游应用的性能。在知识图谱的背景下，表示学习旨在派生实体和关系（称为嵌入）的低维向量表示。在金融领域，金融系统通常以复杂且动态演变的关系为特征，这些关系可以表示为DKG，用于欺诈交易识别、股票回报预测等应用。此外，LLMs在金融领域的应用也在增加，例如，通过先进的自然语言处理（NLP）能力来提高金融情感分析。

3. 集成上下文知识图谱生成器（ICKG）

集成上下文知识图谱生成器（ICKG）是一个开源的微调大型语言模型（LLM），专门针对从文本数据中构建知识图谱的任务进行了优化。ICKG的训练过程包括三个主要步骤：首先，使用约5000篇开源金融新闻文章构建微调数据集，这些文章通过带有知识图谱提取提示的GPT-4逐一处理，以提取三元组并分类实体到预定义的类别或元实体中；其次，应用数据质量过滤器，仅保留严格遵循指令提示并返回超过5个四元组的文章响应，以减少GPT-4输出中的噪声和随机性；最后，使用这些四元组微调开源的Mistral 7B模型，得到最终的ICKG。

FinDKG数据集是一个新的开源金融动态知识图谱数据集，利用ICKG从大约400,000篇华尔街日报的金融新闻文章中提取而成，时间跨度从1999年到2023年。每篇文章都包含了发布时间、标题、类别以及全文内容等元数据。在构建FinDKG时，排除了与经济和金融不密切相关的文章主题，如娱乐、书籍推荐、观点专栏等。ICKG用于从每篇新闻文章中提取由实体、实体类别和关系类型组成的五元组，时间戳对应于发布日期。此外，通过Sentence-BERT进行实体消歧，以确保实体的正确性和准确性。

4. 通过KGTransformer进行图学习

动态知识图谱学习的目标是估计一个模型，该模型能够捕获观察到的数据的结构和时间特征。KGTransformer是一种基于注意力的图神经网络（GNN），旨在构建实体的低维表示，称为图嵌入。KGTransformer通过扩展的图注意力机制整合了元实体信息。

4.1 KGTransformer模型架构

KGTransformer是一种基于注意力机制的图神经网络（GNN），它通过构建实体的低维表示（即图嵌入）来处理动态知识图谱（DKGs）。该模型超越了传统的GNN架构，通过引入元实体信息，能够在学习过程中整合实体的类别信息。在KGTransformer中，每个实体的嵌入向量是通过与其他实体的交互来更新的，这些交互由注意力分数加权，反映了实体间关系的强度和类型。

该模型的核心是注意力机制，它允许实体根据其邻居的重要性动态调整其嵌入向量。这种机制使得KGTransformer能够捕捉实体间的复杂关系，并在动态环境中预测未来的链接。此外，KGTransformer通过多头部注意力系统进一步增强了其能力，每个头可以学习到不同的关系特征。

4.2 时间演变更新

KGTransformer通过引入时间维度来处理动态知识图谱，这涉及到在不同时间点上观察到的实体和关系的变化。为了实现这一点，模型使用了时间嵌入和结构嵌入，这些嵌入通过递归神经网络（RNN）随时间更新。时间嵌入捕捉了实体和关系随时间的演变，而结构嵌入则反映了实体和关系在图结构中的动态变化。

这种时间演变更新允许KGTransformer不仅考虑实体和关系当前的状态，还能够预测它们在未来可能的变化。通过这种方式，模型能够更好地理解和预测知识图谱中的事件和趋势。

4.3 动态知识图谱学习

在这一节中，文章提出了一个基于概率框架的学习方法，用于从观察到的数据中估计DKG模型。这个框架结合了KGTransformer的时间变化嵌入，通过最小化复合损失函数来学习模型参数。学习过程的目标是估计最佳描述观察到的图G𝐴?的模型参数，这涉及到对实体和关系的时间动态和结构特征的建模。

模型的性能通过链接预测任务来评估，即预测给定源实体、关系和未来时间点下最可能的实体。KGTransformer在这一任务上表现出色，特别是在包含元实体信息的数据集上，其性能提升显著。这证明了KGTransformer在处理动态知识图谱和预测未来链接方面的有效性。

5. 实验和应用

文章通过一系列实验，展示了KGTransformer在链接预测任务上的性能，并评估了由ICKG生成的FinDKG数据集在金融趋势分析和主题投资方面的应用潜力。

5.1 链接预测性能评估

作者选择了多个真实世界的DKG数据集，包括YAGO、WIKI、ICEWS14以及新创建的FinDKG，来测试KGTransformer模型的链接预测能力。链接预测任务的目标是预测知识图谱中缺失的实体或关系。作者采用了Mean Reciprocal Rank（MRR）和Hits@n（具体为Hits@3和Hits@10）作为性能评估指标。通过与现有的静态图模型（如R-GCN）和动态图模型（如RE-Net和EvoKG）进行比较，KGTransformer在多个数据集上展现出优越的性能，尤其在FinDKG数据集上，由于其包含了实体类型信息，KGTransformer的性能提升更为显著。

5.2 金融新闻中的趋势识别

作者利用FinDKG数据集来分析和跟踪全球金融网络的动态变化。通过构建滚动的月度快照知识图谱，作者计算了实体的中心性指标，包括度中心性、介数中心性、特征向量中心性和PageRank。通过这些中心性指标，作者展示了COVID-19实体在金融新闻中的关注度随时间的变化，从而证明了FinDKG数据集能够有效捕捉金融新闻中的重要趋势。

5.3 基于FinDKG的主题投资

作者探讨了FinDKG数据集在主题投资中的应用。主题投资是一种针对预期会影响未来产业和经济格局的主题或趋势的投资策略。作者以人工智能（AI）为主题，使用KGTransformer模型来预测股票实体与AI主题的相关性，并构建了一个基于AI主题的投资组合。通过与现有的AI主题ETFs和基于EvoKG模型的投资组合进行比较，基于FinDKG的AI投资组合在评估期内实现了最高的年化回报和夏普比率，显示出KGTransformer模型在金融投资领域的应用潜力。

在这里插入图片描述

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述