引言
本文作为该系列的第二篇文章。主要介绍金融证券知识图谱相关数据抽取,以及数据对其工作。数据获取和数据模型构建
数据抽取和实体对齐
图谱存储和图谱应用
图谱更新
我将全部代码用 jupyter notebook 的形式开源在我的 Github 上,方便感兴趣的朋友一步步复现和学习。如果觉得有帮助,那就给个star吧~https://github.com/kevin-meng/financial_stock_knowledge_graphgithub.com
1. 数据抽取
根据我们上一步完成的数据模型,我们以此进行数据抽取,并按照 neo4j的 neo4j-admin import 的格式要求,保存文件。
具提处理完整代码见 Github 。较长,考虑到阅读体验,这里就不在这里贴出来了。这里重点讨论下2类节点和一类关系处理方式,及其各类处理方法较为常规。
1.1 公司
公司信息散落在 上市公司基本信息、公募基金列表以及公募基金公司三张表中。需对其进行合并处理。 并以 公司全称(fullname) 作为其唯一主键。 同时为三类公司分别打上对应标签。 上市公司LISTED_COMPANY、基金管理公司FUND_MANAGER以及基金托管公司 FUND_CUSTODIAN。
1.2 实体对齐
对于单位名称,发现 fund_company 和 fund_basic 两张数据表中,有下面五个银行、一个券商、一个资管 名称公司简称没有对齐,即一个实体对应多个名字的情况。
这里我们手工处理,将其对齐 ['中国民生银行',