1、知识表示
(1)基于向量的知识表示比较热门,将知识图谱三元组中的主谓宾转换成数值,构成向量。通过向量的知识表示,可以采用统计或者神经网络的方法进行推理,对知识图谱中实体直接的关系进行预测。
(2)通过嵌入将知识图谱中的实体和关系投射到一个低维的连续向量空间,为每一个实体和关系学习出一个低维度的向量表示。这种基于连续向量的知识表示可以实现通过数值运算来发现新事实和新关系,并能更有效发现更多的隐式知识和潜在假设,这些隐式知识通常是人的主观不易于观察和总结出的。
知识图谱嵌入也常作为一种先验知识辅助输入很多深度神经网络模型中,用来约束和监督训练。
2、知识图谱的构建流程
数据采集-知识抽取-知识融合-知识加工
(1)数据采集
网络爬虫、数据库获取、人工制作、官网下载处理过的数据集
知识图谱的构建主要数据来源为非结构化数据
(2)知识抽取
名命实体识别(NER):运用自然语言处理、机器学习技术,基于深度学习的知识图谱构建中,通过序列标注方法进行识别
实体关系抽取(RC):语义信息的提取,基于深度学习的知识图谱架构中,通过特征工程对含有具有关系的两个实体的句子进行关系标注,实现监督学习。现如今也有基于自监督学习方式进行关系抽取。另外,Zheng等人提出的联合NER和RC的学习,将两个步骤融合一起形成联合学习方式,在一定程度上提高了模型的精准度。
属性抽取:
(3)知识融合
对识别错误的实体和关系进行优化,提高知识图谱置信度。
实体消歧:四种方法:空间向量模型、语义模型、社会网络模型、百科知识模型
共指消解:两种方法:句法分析、基于机器学习算法转化成分类和聚类问题
知识合并:两种方法:将构建的知识体系结构存储在图数据库中,通过实体消歧进行合并,也可以将知识体系以关系型存储在关系数据库中,通过数据库技术进行合并。
(4)知识加工
本体构建:
知识推理:知识之间的关系推理,包括逻辑关系推理和图关系推理,逻辑关系推理属于语义分析部分,图关系推理根据图模型进行关系拓展。
知识更新:知识不断迭代,知识图谱不断更新,全面更新与增量更新
3、基于深度学习的知识图谱可以用到的技术
(1)数据采集:基于Python网络爬虫的数据采集;
(2)词向量训练:word-embedding训练,包括CBOW、Skip-gram模型以及哈夫曼树和负采样加速方法;
(3)命名实体识别:RNN,BiRNN,LSTM,BiLSTM,CRF;
(4)实体关系抽取:基于CNN的关系分类,基于依存关系模型的关系抽取;
(5)联合实体与关系抽取:复合神经网络模型Bi-LSTM+CRF+CNN,端到端(End-to-end)模型,注意力(Attention)机制等;
(6)深度学习框架:Tensorflow;
(7)数据标注:特征工程;
(8)图数据库:较为流行的图数据库有 Neo4j,Titan,OrientDB和 ArangoDB,本人常用的是Neo4j;
(9)涉及到数学知识:微积分、矩阵论(线性代数)、概率论与数理统计、最优化方法、泛函分析、数值优化等。
原文链接:https://blog.csdn.net/qq_36426650/article/details/84346754
参考博文:
[1]:https://blog.csdn.net/qq_36426650/article/details/84346754