浙大知识图谱导论笔记-CSDN博客

本文链接：https://blog.csdn.net/qq_43640181/article/details/128172483

第一章知识图谱概论

1.1语言与知识

在这里插入图片描述知识图谱旨在利用图结构建模、识别和推断事物之间的复杂关联关系和沉淀领域知识，是实现认知智能的重要基石，已经被广泛应用于搜索引擎、智能问答、语言语义理解、大数据决策分析、智能物联等众多领域。
自然语言:为句子中的每个词学一个向量表示
知识图谱:为每个实体和关系学习一个向量表示
图像视频:为视觉中的每个对象学习一个向量表示
知识图谱可以看作是一种结构化的知识表示方法,相比于文本更易于被机器查询和处理,因而在搜索引擎、智能问答、大数据分析等领域被广泛应用。
语言与知识的向量化表示,以及利用神经网络实现语言与知识的处理是重要的人工智能技术发展趋势。

1.2知识图谱的起源

在这里插入图片描述

1.3知识图谱的价值

知识图谱辅助搜索-语义搜索:Web的理想是链接万物,搜索的理想是万物搜索.
智能问答:对话式的信息获取更加需要精准度和可靠度,知识图谱对于提升用户体验更加不可少
推荐系统:将知识图谱引入到推荐系统中,可以增强User和ltem的特征表示,有利于挖掘更深层次的用户兴趣,关系多样性也有利于实现更加个性化的推荐,丰富的语义描述还可以增强推荐结果的可解释性
大数据分析:
语言理解:
视觉理解
设备互联
小结
知识图谱技术源于互联网,最早落地应用的也是搜索引擎、智能问答和推荐计算等技术领域
知识图谱通过规范化语义融合多来源数据,并能通过图谱推理能力支持复杂关联数据的挖掘分析,因此在大数据分析领域也有广泛应用
不论是语言理解和视觉理解,外源知识库的引入都可以有力的提升语义理解的深度和广度
知识图谱在医疗、金融、电商、通信等多个垂直领域都有着广泛的应用，并且每个领域都有其独特的实现和实践方式

1.4知识图谱的技术内涵

在这里插入图片描述

基于图的知识表示

在这里插入图片描述

图数据存储与查询

在这里插入图片描述

知识提取

在这里插入图片描述

机器抽取加上人工众包任然是主流技术路线

知识图谱融合

在这里插入图片描述

知识图谱推理

在这里插入图片描述
基于符号逻辑的推理方法:OWL Reasoners.Datalog、Rete等
基于图结构或表示学习的推理方法:PRA、AMIE、TransE、Analogy、DeepPath、NeuralLP等

知识图谱问答

在这里插入图片描述

图算法与图神经网络

在这里插入图片描述

第二章知识的表示

2.1什么是知识表示knowledge representation

简单而言,知识表示(KR)就是用易于计算机处理的方式来描述人脑的知识的方法
KR不是数据格式、不等同于数据结构、也不是编程语言,对于人工智能而言,数据与知识的区别在于KR支持推理
在这里插入图片描述

从符号到向量表示

在这里插入图片描述

知识的向量表示:促进多种模态的融合

在这里插入图片描述

2.2AI历史长河中的知识表示方法

在这里插入图片描述

描述逻辑

在这里插入图片描述

一阶谓词逻辑

在这里插入图片描述

产生式系统

在这里插入图片描述

框架系统

在这里插入图片描述

语义网络

在这里插入图片描述

小结

在这里插入图片描述

2.3基于图的知识表示与建模

属性图

在这里插入图片描述

RDF

在这里插入图片描述 RDF三元组(S,P,O)编码一个语句—一个简单的逻辑表达式，或关于世界的声明。

在这里插入图片描述

RDF还提供了基础的表达构建,用于定义属性,类等schema层的术语,例如domain,range用于定义某个关系的头尾结点类型subclassof和subpropertyof用于定义类与属性的层次关系等等

在这里插入图片描述

Ontology in Computer Science and Artificial lntelligence
An ontology is a description (like a formal specification of a program) of the conceptsand relationships that can formally exist for an agent or a community of agents.
— Tom Gruber，Founder of Siri
计算机科学与人工智能中的本体
本体是对一个代理或一个代理社区可以正式存在的概念和关系的描述(类似于程序的正式规范)。

owl本体构建语言:ontologies web language

在这里插入图片描述

小结

在这里插入图片描述

2.4知识图谱的知识的向量表示

在这里插入图片描述

从词的向量表示讲起

在这里插入图片描述

词的分布式向量表示

在这里插入图片描述

从词的向量表示讲起

在这里插入图片描述

词向量学习模型举例

在这里插入图片描述

从词的表示讲起

在这里插入图片描述

知识图谱嵌入

在这里插入图片描述

知识图谱嵌入模型TransE

h代表head主语subject,r代表Relationship关系谓语predicate,t代表title即object宾语
在这里插入图片描述

定义一个评分函数f,对所有的三元组累加,计算损失函数L,这里的优化目标,让真实存在的三元组得分尽可能的高,让不存在的三元组得分尽可能的小

知识图谱嵌入模型DistMult

在这里插入图片描述

distmult运用乘法,并用一个matrix矩阵来表示关系,如果一个三元组存在,h*mr=t;
在这里插入图片描述

小结

在这里插入图片描述

第三章知识图谱的存储与查询

3.1基于关系型数据库的知识图谱存储

知识图谱的各种存储方式

在这里插入图片描述

从图结构模型说起

在这里插入图片描述

图上的查询语言:sparql

在这里插入图片描述
最简单的存储triple store

property tables属性表存储

在这里插入图片描述

binary tables二元表

在这里插入图片描述

exhaustive indexing全索引结构

在这里插入图片描述

exhaustive indexing

在这里插入图片描述

exhaustive indexing查询举例

在这里插入图片描述

小结

在这里插入图片描述

原生图数据库成为主要解决方案

3.2原生图数据库的知识图谱存储

关系型数据库的局限性:关系模型不善处理关系

在这里插入图片描述

关系模型的局限性:处理关联查询

在这里插入图片描述

nosql(非关系型数据库)数据库也不善于处理关联关系

在这里插入图片描述

图数据库

在这里插入图片描述

原生图数据库:利用图的结构特征建索引

在这里插入图片描述

图数据建模的好处

在这里插入图片描述

图数据库使用举例:Neo4J

在这里插入图片描述

图查询语言cypher

在这里插入图片描述

举例:跨领域图建模与查询

在这里插入图片描述

cypher图查询举例

在这里插入图片描述
Finds all the Shakespeare performances at Newcastle’ s Theatre Royal
在纽卡斯尔皇家剧院找到所有莎士比亚的表演。

在这里插入图片描述

常见的图数据库列表

在这里插入图片描述

小结:什么时候使用图数据库

在这里插入图片描述

3.3原生图数据库实现原理

原生图数据库的实现原理:免索引邻接

在这里插入图片描述

关系模型的局限性:处理关联查询

在这里插入图片描述

index-free adjacency的计算复杂度

在这里插入图片描述

原生图数据库的物理存储实现

在这里插入图片描述

节点存储文件

在这里插入图片描述

图遍历的查询的物理实现

在这里插入图片描述

属性数据的存储处理:内联与动态存储

在这里插入图片描述

rdf图模型和属性图模型的比较

在这里插入图片描述

知识图谱的查询语言的比较

在这里插入图片描述
工业届用sparql

常见知识图谱数据库管理系统比较

在这里插入图片描述

总结:知识图谱存储的选择

在这里插入图片描述

总结:关于图模型与图数据库

在这里插入图片描述

第四章知识图谱的抽取与构建

在这里插入图片描述

4.1重新理解知识工程与知识获取

知识工程

在这里插入图片描述

知识工程代表人物

在这里插入图片描述

传统知识工程的特点

在这里插入图片描述

知识获取的瓶颈

在这里插入图片描述

挑战机器自主获取知识的极限

在这里插入图片描述

知识图谱工程:简化的知识工程

在这里插入图片描述

知识图谱工程

从不同来源.不同结构的数据中进行知识提取,形成知识存入到知识图谱
在这里插入图片描述

知识图谱工程:从关系数据库获取知识

在这里插入图片描述

知识图谱工程:从视觉数据获取知识

在这里插入图片描述

从文本获取知识

在这里插入图片描述

事件抽取

在这里插入图片描述

小结:知识图谱不等于专家系统

在这里插入图片描述

4.2.1知识抽取-实体识别与分类

实体识别与分类任务定义

在这里插入图片描述

实体识别的常用方法:基于模板和规则

在这里插入图片描述

实体识别的常用方法:基于序列标注的方法

在这里插入图片描述

确定实体识别的序列标签体系

在这里插入图片描述

常见序列标注模型:HMM(隐马尔可夫模型)

在这里插入图片描述

HMM的要素定义

在这里插入图片描述

HMM的计算问题

在这里插入图片描述

求观测序列的概率-前向后向算法

在这里插入图片描述

模型参数的估计与学习

在这里插入图片描述

模型参数的估计与学习-鲍姆韦尔奇算法-EM算法

在这里插入图片描述

解码隐藏状态序列-维特比算法

在这里插入图片描述

常见序列预测模型:CRF条件随机场

在这里插入图片描述

CRF的机器学习模型

在这里插入图片描述

基于深度学习的实体识别方法

在这里插入图片描述

常见实现方法:biLSTM+CRF

在这里插入图片描述

BiLSTM+CRF:CRF层

在这里插入图片描述

BiLSTM+CRF:模型训练

在这里插入图片描述

基于预训练语言模型的实体识别

在这里插入图片描述

实体识别解码策略

在这里插入图片描述

小结

在这里插入图片描述实体识别是构建知识图谱的重要一环,也是进一步抽取三元组和关系分类的前提基础.

4.3.1关系抽取与属性补全

实体关系抽取的任务定义

在这里插入图片描述

实体关系抽取方法概览

在这里插入图片描述

基于模板的方法:基于触发词匹配的关系抽取

在这里插入图片描述

基于模板的方法:基于依存句法匹配的关系抽取

在这里插入图片描述

基于模板的方法:优缺点

在这里插入图片描述

基于监督学习的关系抽取

在这里插入图片描述

基于监督学习的关系抽取:特征设计

在这里插入图片描述

机器学习框架–特征函数+最大熵模型

在这里插入图片描述

机器学习框架–核函数

在这里插入图片描述

机器学习框架–字符串核举例

在这里插入图片描述

机器学习框架–句法树核函数

在这里插入图片描述

机器学习框架–最短依赖路径树核函数

在这里插入图片描述

机器学习框架–深度学习方法

在这里插入图片描述

机器学习框架–基于RNN递归神经网络的关系抽取

在这里插入图片描述

机器学习框架–基于CNN的关系抽取

在这里插入图片描述

机器学习框架–基于bilstm的关系抽取

在这里插入图片描述

机器学习框架–基于图神经网络的关系抽取

在这里插入图片描述

基于预训练语言模型的关系抽取

在这里插入图片描述

拓展问题-实体关系联合抽取

在这里插入图片描述

拓展问题-基于胶囊神经网络多标签关系抽取

在这里插入图片描述

拓展问题-多元关系抽取

在这里插入图片描述

拓展问题-跨句推理

在这里插入图片描述

半监督学习-基于远程监督的关系抽取

在这里插入图片描述

远程监督-基于多实例学习(降噪学习)

在这里插入图片描述

远程监督-强化学习(降噪学习)

在这里插入图片描述

半监督学习-基于Bootstrapping(引导)的关系抽取

在这里插入图片描述

Bootstrap一Neural Snowball

在这里插入图片描述

bootstrapping的语义漂移问题

在这里插入图片描述

语义漂移问题的一些解决方法

在这里插入图片描述

属性补全:任务定义

在这里插入图片描述

属性补全的方法-抽取式属性补全

在这里插入图片描述

属性补全的方法-生成式属性补全

在这里插入图片描述

属性补全的方法-属性补全方法比较

在这里插入图片描述

属性补全应用-商品属性补全

在这里插入图片描述

小结-关系抽取方法的演变

在这里插入图片描述

4.4概念抽取

构建概念知识图谱:任务定义

在这里插入图片描述

概念的上下位关系

在这里插入图片描述

概念抽取的方法

在这里插入图片描述

概念抽取的方法:基于模板

在这里插入图片描述

概念抽取的方法:基于模板

在这里插入图片描述

概念抽取的方法:基于百科

在这里插入图片描述

概念抽取的方法:基于百科

在这里插入图片描述

概念抽取的方法:基于机器学习

在这里插入图片描述

中文概念知识图谱

在这里插入图片描述

概念知识的应用:搜索

在这里插入图片描述

总结

在这里插入图片描述

4.5知识抽取-事件识别与抽取

事件的定义

在这里插入图片描述

事件抽取的定义

在这里插入图片描述

事件抽取:事件发现和分类

在这里插入图片描述

事件抽取:事件要素抽取

在这里插入图片描述

事件抽取的方法:模式匹配

在这里插入图片描述

事件抽取的方法:模式匹配

在这里插入图片描述

模式匹配的方法小结

在这里插入图片描述

事件抽取的方法:机器学习

在这里插入图片描述

基于机器学习方法的挑战

在这里插入图片描述

事件抽取的方法:弱监督

在这里插入图片描述

中文事件抽取

在这里插入图片描述

小结

在这里插入图片描述

4.6知识抽取技术前沿

知识抽取前沿挑战

在这里插入图片描述

少样本知识抽取

在这里插入图片描述

基于混合注意力原型网络的少样本关系抽取

在这里插入图片描述

基于实体关系原型网络的少样本知识抽取

在这里插入图片描述

零样本知识抽取

在这里插入图片描述

基于阅读理解的零样本关系抽取

在这里插入图片描述

基于规则引导的零样本关系抽取

在这里插入图片描述

终身知识抽取

在这里插入图片描述

基于表示对齐的终身关系抽取

在这里插入图片描述

小结-知识抽取的未来展望

在这里插入图片描述

第五章知识图谱推理

5.1什么是推理

what is reasoning什么是推理

在这里插入图片描述

deductive reasoning–演绎推理

在这里插入图片描述

inductive reasoning–归纳推理

在这里插入图片描述
看到的天鹅是白色,就认为所有天鹅是白色.归纳推理不一定正确

abductive reasoning–溯因推理

在这里插入图片描述

analogical reasoning–类比推理

在这里插入图片描述
描述逻辑
terminology描述抽象概念内容,abox描述客观内容

reasoning in description logic描述逻辑中的推理

在这里插入图片描述
自然语言处理

reasoning in NLP:natural language inference自然语言处理

在这里插入图片描述

计算机视觉reasoning in CV:visual Reasoning

在这里插入图片描述

小结

在这里插入图片描述

5.2知识图谱推理简介

在知识图谱上实现推理

在这里插入图片描述

常见知识图谱推理方法分类

在这里插入图片描述
基于向量表示学习符号规则,再利用符号规则做演绎推理,这实际上是一类将符号的演绎推理和基于向量的归纳推理向结合.是当下研究的一个热点

基于符号表示的推理

在这里插入图片描述

基于向量表示的推理

在这里插入图片描述

小结:符号逻辑与表示学习的融合

在这里插入图片描述
将人工构建和机器学习出的符号规则与向量表示学习相耦合,也可以进一步在表示学习过程中植入逻辑层的知识先验,从而使得向量表示更容易实现符号逻辑推理,因此符号逻辑与表示学习的互补融合是解决表示学习可解释性的一个重要途径.更进一步,符号逻辑的向量化和神经网络化也使得感知层的任务比如抽取识别人和认知层的任务比如理解和推理能够在统一的表示空间完成…因此也是感知认知进一步融合的未来的主要发展趋势之一.

5.3.1基于ontology的推理方法

常见知识图谱推理方法分类

在这里插入图片描述

rdf:triple-based assertion model(三元组-基于断言模型)

在这里插入图片描述

基于rdf/rdfs的简单推理

在这里插入图片描述

owl extends rdf schema

在这里插入图片描述

owl的描述逻辑语义及语法

在这里插入图片描述

owl的描述逻辑语义及语法

在这里插入图片描述

owl本体推理:概念包含推理

在这里插入图片描述

owl本体推理:实例检测推理

在这里插入图片描述

典型本体推理算法:tableaux算法

在这里插入图片描述

tableaux算法

在这里插入图片描述

owl本体推理工具

在这里插入图片描述

5.3.2基于规则的推理

基于Datalog的符号推理

在这里插入图片描述

datalog基本语法

在这里插入图片描述

datalog基本语法

在这里插入图片描述

datalog推理举例

在这里插入图片描述

datalog推理工具举例

在这里插入图片描述

基于产生式规则的推理

在这里插入图片描述

基于产生式规则的推理

在这里插入图片描述

rete算法

在这里插入图片描述

rete算法小结

在这里插入图片描述

小结

在这里插入图片描述

5.4.1基于嵌入学习的知识图谱推理

在这里插入图片描述

常见知识图谱推理方法分类

在这里插入图片描述

知识图谱上的关系推理

关系推理问题分解成三个子问题
给定两个实体,预测他们之间是否存在r关系
给定头实体,在给定关系预测未知的伪实体
给定两个三元组,判断是否为真或假
在这里插入图片描述

回顾:词嵌入-知识图谱嵌入

在这里插入图片描述

知识图谱嵌入模型:transE

在这里插入图片描述

知识图谱嵌入模型:预测问题与推理评价

在这里插入图片描述

符号推理VS向量推理

在这里插入图片描述
知识图谱嵌入模型:transE的问题

典型的知识图谱嵌入模型:transH

在这里插入图片描述

典型的知识图谱嵌入模型:transR

在这里插入图片描述

典型的知识图谱嵌入模型:transD

在这里插入图片描述

知识图谱嵌入模型:distmult

在这里插入图片描述

知识图谱嵌入模型:anology

在这里插入图片描述

知识图谱嵌入模型:complEx

在这里插入图片描述

知识图谱嵌入模型:conve

在这里插入图片描述

知识图谱嵌入模型:rotae

在这里插入图片描述

知识图谱嵌入模型:betaE

在这里插入图片描述

其他推理模型框架:强化学习–基于强化学习的知识图谱路径推理问答

在这里插入图片描述

知识图谱嵌入的挑战:稀疏性问题

在这里插入图片描述

稀疏性问题:对抗关系学习-adversarial relational learning

在这里插入图片描述

稀疏性问题:metar-meta relational learning元学习

在这里插入图片描述

发展迅速的知识图谱嵌入推理模型(2019-2020)

在这里插入图片描述

小结

在这里插入图片描述

基于规则学习的知识图谱推理

在这里插入图片描述

利用图的结构实现关系推理:pra

在这里插入图片描述

基于规则学习的方法:Amie

在这里插入图片描述

借助表示学习来学习规则

在这里插入图片描述

可微规则学习:neuralLP

在这里插入图片描述

可微规则学习:NeuralLP的数值规则学习

在这里插入图片描述

可微规则学习:DRUM

在这里插入图片描述

可微规则学习:ruleE

在这里插入图片描述

利用规则增强知识图谱表示学习

在这里插入图片描述

规则与嵌入表示的迭代学习:iterE

在这里插入图片描述
embeding learning(嵌入式学习)学习知识图谱的向量表示
axiom induction(本体规则)基于学习规则
axiom injection把学习到的规则植入到embeding的学习过程中,进一步向量表示学习的效果,这个过程不断迭代,直到最后收敛,可以看到这是一个演绎推理和归纳推理相结合的框架,同时也融合了符号规则表示和向量空间表示
在这里插入图片描述

小结

考虑规则学习和嵌入学习的有机融合也是实现知识图谱推理的重要发展方向
在这里插入图片描述

5.4.3ontology embeding-本体概念层推理

ontology embeding vs KG embeding本体嵌入和知识图谱嵌入

在这里插入图片描述

ontology embeding-ELembeding

在这里插入图片描述

quantum embeding量子嵌入

在这里我们可以看到在向量空间处理本体概念层的逻辑关系,比在实例层处理三元组和图的结构关系要复杂许多,这方面的很多研究才刚刚起步.
在这里插入图片描述

onto2Vec&opA2Vec&WOL2Vec

在这里插入图片描述

ontology-enhanced KG embeding–JOIE

在这里插入图片描述

ontology-enhanced KG embeding–MuPP

在这里插入图片描述

小结

在这里插入图片描述

给的一个知识图谱里面到底有哪些信息可以用来学习embeding
我们还需要进一步深挖更为复杂的规则逻辑结构,才能支持更高层次的推理,这些内容,当前任然是知识图谱推理的研究热点

总结

在这里插入图片描述
归纳推理可充分利用大数据的优势,更多依靠机器来学习和总结推理逻辑,是当前知识图谱推理研究的主要关注点

第六章知识图谱融合

在这里插入图片描述

6.1知识图谱融合概述

知识图谱的异构性

在这里插入图片描述

从知识图谱应用角度

在这里插入图片描述

知识融合是解决知识图谱异构问题的有效途径

在这里插入图片描述

知识异构的原因

在这里插入图片描述

知识图谱数据的特点

在这里插入图片描述

为什么需要知识融合

在这里插入图片描述

知识融合的目标

在这里插入图片描述

知识融合的目标:匹配异构本体

在这里插入图片描述

知识融合的目标:对齐异构实体

在这里插入图片描述

知识融合方法

在这里插入图片描述

小结

在这里插入图片描述

6.2概念层融合-本体匹配

什么是本体

在这里插入图片描述

本体匹配定义

在这里插入图片描述

本体匹配方法

在这里插入图片描述

本体匹配方法:术语匹配-基于字符串的方法

在这里插入图片描述

本体匹配方法:术语匹配-相似度度量方法

在这里插入图片描述

levenshtein距离:即最小编辑距离

在这里插入图片描述

汉明距离

在这里插入图片描述

子串相似度

在这里插入图片描述

dice系数 dice距离

在这里插入图片描述

jaccard系数

在这里插入图片描述

TF-IDF

在这里插入图片描述

基于语言的方法

在这里插入图片描述

术语匹配的原理

在这里插入图片描述

本体匹配方法:基于虚拟文档

在这里插入图片描述

虚拟文档的构建

在这里插入图片描述

本体匹配方法:结构匹配-结构匹配的原理

在这里插入图片描述

结构匹配器

在这里插入图片描述

anchor prompt

在这里插入图片描述

大型本体匹配

在这里插入图片描述

大型本体匹配:分块

在这里插入图片描述

小结

在这里插入图片描述

6.3实例层的融合-实体对齐

实体对齐定义

在这里插入图片描述

实体对齐方法

在这里插入图片描述

实体对齐方法:等价推理

在这里插入图片描述

实体对齐方法:相似度计算

在这里插入图片描述

实体对齐方法:基于embeding

在这里插入图片描述

实体对齐方法:基于embeding的实体对齐

在这里插入图片描述

合并预先匹配好的实体,把两个网络合并为一个网络,用单一网络的嵌入表示进行嵌入

在这里插入图片描述

知识融合工具:silk

在这里插入图片描述

知识融合工具openEA

在这里插入图片描述

知识融合工具:EAKit

在这里插入图片描述

小结

在这里插入图片描述

6.4知识融合技术前沿

知识融合技术发展

在这里插入图片描述

无监督对齐

在这里插入图片描述

多视图对齐

在这里插入图片描述

嵌入表示增强

在这里插入图片描述

超大规模对齐

在这里插入图片描述

小结-知识融合的未来展望

在这里插入图片描述

第七章知识图谱问答

在这里插入图片描述

7.1智能问答系统概述

知识图谱是交叉领域

在这里插入图片描述

智能问答:从图灵测试说起

在这里插入图片描述

智能问答的发展历史:特定领域的问答系统

在这里插入图片描述

智能问答两大难点

在这里插入图片描述

智能问答的发展历史:开放领域的问答系统

在这里插入图片描述

智能问答分类:按答案来源分

在这里插入图片描述

智能问答分类:按问句类型分

在这里插入图片描述

知识图谱问答–KBQA

在这里插入图片描述

文本问答–Textual QA

在这里插入图片描述

表格问答–table QA

在这里插入图片描述

社区问答–community QA

在这里插入图片描述

视觉问答–visual QA

在这里插入图片描述

文本问答+知识图谱问答

在这里插入图片描述

视觉问答+知识图谱问答

在这里插入图片描述

实现知识图谱问答主要技术方法

在这里插入图片描述

问句解析VS检索排序

在这里插入图片描述

知识图谱问答测评数据集-QALD

在这里插入图片描述

知识图谱问答测评数据集-webQuestions

在这里插入图片描述

知识图谱问答常用数据集-simplequestions

在这里插入图片描述

知识图谱问答常用数据集-MetaQA

在这里插入图片描述

其他数据集

在这里插入图片描述

小结

在这里插入图片描述

7.2基于查询模板的知识图谱问答

知识图谱问答的主要挑战

在这里插入图片描述

基本模板方法的基本流程

在这里插入图片描述

问句模板实现举例:TBSL

在这里插入图片描述

TBSL:基本思路

在这里插入图片描述

TBSL:核心步骤

在这里插入图片描述

实例

在这里插入图片描述

step1:模板生成-template generation

在这里插入图片描述

模板生成举例

在这里插入图片描述

step2:模板实例化-template instantiations

在这里插入图片描述

模板实例化举例

在这里插入图片描述

step3:查询排序与答案选择

在这里插入图片描述

查询排序举例

在这里插入图片描述

模板是否可以自动生成呢

在这里插入图片描述

模板生成-问句依存分析

在这里插入图片描述

模板生成-为问句构建查询子图

在这里插入图片描述

模板生成-为问句构建对应查询

在这里插入图片描述

模板生成-问句与查询的对齐

在这里插入图片描述

问句与查询的对齐:词典L构建

在这里插入图片描述

问句与查询的对齐

在这里插入图片描述

模板生成

在这里插入图片描述

模板实例化

在这里插入图片描述

候选查询排序

在这里插入图片描述

复杂问题处理

在这里插入图片描述

小结:模板方法的优缺点

在这里插入图片描述

7.3基于语义解析的知识图谱问答

在这里插入图片描述

一步语义解析

在这里插入图片描述

二步语义解析

在这里插入图片描述

逻辑表达式-calculus

在这里插入图片描述

逻辑表达式:-DCS

在这里插入图片描述

逻辑表示式:CCG

在这里插入图片描述

语义解析的基本步骤

在这里插入图片描述

语义解析举例

在这里插入图片描述

语义解析举例:短语检测与依存结构分析

在这里插入图片描述

语义解析举例:grounding

在这里插入图片描述

语义解析器的训练

在这里插入图片描述

补充问题:bridging操作

在这里插入图片描述

补充问题:paraphrasing

在这里插入图片描述

小结

在这里插入图片描述

7.4基于检索排序的知识图谱问答

一步语义解析

在这里插入图片描述

基于检索排序方法的知识图谱问答

在这里插入图片描述

基于检索排序方法的知识图谱问答优缺点

实体链接:任务定义

在这里插入图片描述

实体链接:实现方法举例

在这里插入图片描述

实体链接:多语言实体链接

在这里插入图片描述

排序模型:基于特征的检索排序

在这里插入图片描述

排序模型:基于子图匹配的检索排序

在这里插入图片描述

排序模型:基于向量表示的检索排序

在这里插入图片描述

排序模型:基于记忆网络的检索排序

在这里插入图片描述

小结

在这里插入图片描述

7.5基于深度学习的知识图谱问答

深度学习的两种方法

在这里插入图片描述

实体链接:任务定义

在这里插入图片描述

对语义解析的改进:STAGG

在这里插入图片描述

neural end-to-end框架:simple embeding

在这里插入图片描述

neural end-to-end 框架:CNN+attention

在这里插入图片描述

neural end-to-end 框架:attention+global knowledge

在这里插入图片描述

neural end-to-end 框架 key-value memory networks

在这里插入图片描述

左图为模型的架构图,右图是一个查询实例

neural end-to-end 框架:neural symbolic machines

在这里插入图片描述

小结:深度学习方法的优缺点

在这里插入图片描述

总结

在这里插入图片描述

第八章图算法与图数据分析

在这里插入图片描述

8.1图的基本知识

在这里插入图片描述

知识图谱溯源:the semantic web

在这里插入图片描述

network science and complex network:网络理论与复杂网络分析

在这里插入图片描述

图数据举例:Biological network

在这里插入图片描述

图数据举例:molecular graph

在这里插入图片描述

图数据举例:transportation network

在这里插入图片描述

图数据举例:social network

在这里插入图片描述

graph AI:图智能

在这里插入图片描述

图的基本概念:node degree

在这里插入图片描述

图的基本概念:degree dsitribution

在这里插入图片描述

图的基本概念:邻接矩阵

在这里插入图片描述

图的基本概念:bipartite graph

在这里插入图片描述

图的基本概念:最短路径

在这里插入图片描述

图的基本概念:图的直径与平均路径长度

在这里插入图片描述

图的基本概念:cycle和self-avoiding path

在这里插入图片描述

图的基本概念:欧拉路径和汉密尔顿路径

在这里插入图片描述

图的基本概念:clustering coefficient

在这里插入图片描述

图理论:六度six degree

六度理论
在这里插入图片描述

图理论:weak tie弱联系

在这里插入图片描述

弱联系假设,弱联系指的是假如a通过强关系链接到b和c,则b可能和c存在弱关系连接.
另一个基于弱联系的重要假设是，信息在弱联系中传播，而不是通过弱联系传播。

图理论:无尺度网络模型scale-free network model

在这里插入图片描述

barabasi-albert模型:优先连接-preferential attachment

在这里插入图片描述

barabasi-Albert模型:幂律分布

在这里插入图片描述

图理论:随机网络模型random network model

在这里插入图片描述

erdos-renyi模型

在这里插入图片描述

小结

在这里插入图片描述

8.2基础图算法

在这里插入图片描述

典型图算法pathfinding and graph search algorithms寻路算法

在这里插入图片描述

最短路径算法

在这里插入图片描述

dijkstra算法

在这里插入图片描述

最小生成树

在这里插入图片描述

kruskal算法

在这里插入图片描述

centrality algorithms中心性算法

在这里插入图片描述

centrality algorithms:PageRank

在这里插入图片描述

centrality algorithms:betweenness centrality中介中间度

在这里插入图片描述

典型图算法-community detection algorithms社区发现算法

在这里插入图片描述

社区发现算法:strongly connected components

在这里插入图片描述

社区发现算法:label propagation标签传播算法

在这里插入图片描述

社区发现算法:louvain算法-模块度

在这里插入图片描述

小结

在这里插入图片描述

8.3图神经网络与图表示学习

图的形式化定义及类型

在这里插入图片描述

图表示学习问题描述

在这里插入图片描述

图表示学习算法概览

在这里插入图片描述

几种不同的图表示学习算法

在这里插入图片描述

随机游走之deepwalk

在这里插入图片描述

随机游走之node2vec

在这里插入图片描述

随机游走之line

在这里插入图片描述

随机游走之netMF

在这里插入图片描述

随机游走之metapath2vec

在这里插入图片描述

图神经网络系列

在这里插入图片描述

图神经网络父类

在这里插入图片描述

图神经网络:图卷积神经网络GCN

在这里插入图片描述

图神经网络:图变分自编码器VGAE

在这里插入图片描述

图神经网络:图注意力网络GAT

在这里插入图片描述

图神经网络:GraphSAGE

在这里插入图片描述

图神经网络:GTN

在这里插入图片描述

图神经网络:层次化模型

在这里插入图片描述

图神经网络预训练

在这里插入图片描述

图神经网络与训练:GPT-GNN

在这里插入图片描述

图神经网络预训练:GCC

在这里插入图片描述

图神经网络系列

在这里插入图片描述

8.4图神经网络与知识图谱

图神经网络与知识图谱表示学习

在这里插入图片描述

图神经网络与知识图谱表示学习

在这里插入图片描述

图神经网络与知识图谱表示学习:COMPGCN

在这里插入图片描述

图神经网络与知识图谱表示学习inductive setting in knwledge graph embeding知识图谱嵌入中的归纳设置

在这里插入图片描述

图神经网络与知识图谱构建:关系抽取

在这里插入图片描述

图神经网络与知识图谱构建:长尾关系抽取

在这里插入图片描述

图神经网络与知识图谱对齐-实体对齐

在这里插入图片描述

知识图谱+图神经网络:计算机视觉应用

在这里插入图片描述

知识图谱+图神经网络的应用:NLP应用

在这里插入图片描述

知识图谱+图神经网络的应用:推荐系统应用

在这里插入图片描述

小结

在这里插入图片描述

总结

在这里插入图片描述

第九章知识图谱技术发展

9.1多模态知识图谱

在这里插入图片描述
蕴含知识的原始数据都可以作为知识图谱构建的数据来源
多种模态的数据也可以被用来增强知识图谱
实体链接技术可以增强对多模态数据的分类、检索和识别等能力

system1 vs system2

在这里插入图片描述无意识与有意识

知识图谱:衔接感知与认知的中介

在这里插入图片描述

多模态:Multi-modals

在这里插入图片描述

知识图谱本该是多模态的

在这里插入图片描述

多模态的作用:模态知识互补

在这里插入图片描述

多模态的作用:模态实体消歧

在这里插入图片描述

多模态的作用:模态语义搜索

在这里插入图片描述

多模态作用:利用多模态数据补全知识图谱

在这里插入图片描述

利用知识图谱增强多模态任务

在这里插入图片描述

多模态知识图谱发展历史

在这里插入图片描述

多模态知识图谱实例-IMGpedia

在这里插入图片描述

多模态知识图谱实例:-MMKG

在这里插入图片描述

多模态知识图谱实例-imagegraph

在这里插入图片描述

多模态知识图谱实例:Richpedia

在这里插入图片描述

多模态知识图谱研究:多模态关系预测与推理

在这里插入图片描述

多模态知识图谱研究:多模态关系预测与推理

在这里插入图片描述

多模态知识图谱研究:多模态知识问答

在这里插入图片描述

多模态知识图谱研究:场景图与知识图谱的融合

在这里插入图片描述

多模态知识图谱研究:多模态推荐计算

在这里插入图片描述

小结

在这里插入图片描述

9.2知识图谱与语言预训练

知识图谱VS语言预训练

在这里插入图片描述

预训练语言模型

在这里插入图片描述

为什么需要知识图谱

在这里插入图片描述

知识驱动的语言预训练

在这里插入图片描述

知识驱动的语言预训练:ERNIE

在这里插入图片描述

知识驱动的语言预训练:KnowBERT

在这里插入图片描述

知识驱动的语言预训练:WKLM

在这里插入图片描述

知识驱动的语言预训练:K-Adapter

在这里插入图片描述

小结

在这里插入图片描述

9.3事理知识图谱

事例知识图谱的定义

在这里插入图片描述

事理知识图谱中的事件定义

在这里插入图片描述

事理知识图谱与传统知识图谱的区别与联系

在这里插入图片描述

事理图谱中的关系

在这里插入图片描述

事件间顺承关系

在这里插入图片描述

事件间因果关系

在这里插入图片描述

事件间条件关系

在这里插入图片描述

事件间上下位关系

在这里插入图片描述

事理知识图谱和传统知识图谱的融合

在这里插入图片描述

事理知识图谱的应用

在这里插入图片描述

基于事理知识图谱的知识问答

在这里插入图片描述

基于事理图谱的消费意图识别

在这里插入图片描述

基于事件图谱的重要新闻判别与推荐

在这里插入图片描述

基于事理图谱的推理与辅助决策

在这里插入图片描述

小结

在这里插入图片描述

9.4知识图谱与低资源学习

低资源学习-low resource learning

在这里插入图片描述

事件间顺承关系

在这里插入图片描述

知识图谱与低资源学习

在这里插入图片描述

LRL4KG:知识图谱的稀疏性问题

在这里插入图片描述

LRL4KG:低资源下的知识图谱推理

在这里插入图片描述

LRL4KG:低资源下的知识图谱推理,构建

在这里插入图片描述

LRL4KG:低资源下的知识图谱构建

在这里插入图片描述

LRL4KG:低资源下的知识图谱推理

在这里插入图片描述

KG4LRL:基于知识图谱的低资源学习

在这里插入图片描述

KG4LRL:更深层次的语义与知识信息的利用

在这里插入图片描述

KG4LRL:利用知识图谱增强零样本学习的可解释性

在这里插入图片描述

小结

在这里插入图片描述