AI人工智能行业知识图谱索引开发前期思想

本项目的主要目的是通过一种多层深度学习网络，知识图谱融合推理技术，图数据的相关技术，对大数据的处理开发出的一种基于行业知识图谱的智能检索问答系统。该系统可以查询相关核心知识点，方便做企业的经营决策规划。
本项目原理：
当前主要基于图谱的查询很难落实在一个工业的应用上，主要的原因在于：（1）数据缺乏不完整、（2）实体提取和关系抽取困难、（3）知识图谱的Schema设计困难和复杂、（4）基于图谱的查询搜索时间复杂度过高无法使用等。本方法是通过数据采集技术对开源行政处罚数据进行数据采集工作，a，将采集的数据存储于大容量的数据库中，b，数据的结构化义和图谱的Schema设计，c，实体和实体之间的关系标签定义，d，提炼部分数据进行实体和关系的标签数据标注，e，开发人员依据标注好的标签数据运用深度学习的模型训练出实体和关系的三元组模型，提取三元组和其属性。将提取出的三元组集合数据写入图数据库中构建图谱，图谱构建完成后进行知识图谱的融合处理。图谱构建和融合完成后，采用python的flask框架结合neo4j的cypher语法做知识图谱的检索开发，并且结合本发明的匹配方法达到和好的匹配效果。它的工作方式流程如下图所示：

各模块数据处理流程说明：
训练管理端：
1.标记好的训练数据进入NLP文本预处理模块，经过分词、依存句法分析、命名实体识别等预处理，将字向量打上联合标签，提取正负指代样本对的联合标签数据。
2.联合标签数据进入深度学习网络进行训练后得到了训好的深度学习网络及其网络参数。
3.预标注阶段，没有打过标签的数据，经过NLP文本预处理模块，进入训好的深度学习网络进行数据预标注，输出带指代对预标注标签的数据。
4.重复1——3，直到模型识别能力达到最优。将训好的模型进行保存。输出CKPT模型。
5.三元组在处理成csv文件时的数据
6.知识图谱的节点融合技术和图计算的技术
7.图谱的运维的核心方法。
8.知识图谱检索问答的开发的逻辑。