论文阅读《Does William Shakespeare REALLY Write Hamlet? Knowledge RepresentationLearning with Confidenc》

Does William Shakespeare REALLY Write Hamlet? Knowledge Representation Learning with Confidence

INTRODUCTION

Q:可信的知识图谱构建方法去哪找?

①、传统的知识图谱构建方法通常需要大量的人工监督或专家标注，费时费力。

②、自动化机制和众包在知识构建中所占比重较大，而这些方法由于人工监督的有限性，可能存在噪音和冲突。

③、大多数传统的KRL方法都假设现有的知识图谱是绝对正确的。

Q:本文想做什么事情?

①、我们试图检测现有知识图谱中可能的噪声和冲突，同时构建无噪声的知识表示。

②、综合考虑局部三元组和全局路径信息，通过全局一致性和多步路径推理，提出了三种三元组置信度表示。

③、为了使我们的三元组置信度更具有普适性和实用性 ，我们在模型中只考虑KG构建后的内部结构信息。

Q:最后做成啥样了?

我们在知识图谱噪声检测、知识图谱补全和三元组分类3个任务上评估了我们的模型。实验结果表明，模型在所有任务上都取得了最好的性能。(2017年)

​

RELATION WORK

Q:别人是如何对三元组进行质检的?

噪声的存在似乎是不可避免的，并且会强烈影响知识的获取，因此噪声检测在知识构建和知识应用中必不可少。

①、大多数知识图谱噪声检测发生在构建知识图谱的过程中。

②、YAGO2 在人类监督下从维基百科中提取知识。

③、Wikidata还依赖于一个众包的人类决策软件。

④、DBpedia通过全球范围内的众包创建到维基百科信息框的映射。

这些大规模KGs中的噪声检测通常涉及巨大的人力努力，这是极其劳动密集型和耗时的。

Q:本文的方法相比别人的方法?

①、本文提出的三元组置信度既可以在知识图谱构建过程中计算，也可以在构建后从多个方面来计算，支持信息包括包括KG结构等内部信息和文本证据等外部信息。

②、我们尝试检测噪声并学习更好的三元组置信度的知识表示，更 多地关注那些高置信度的三元组。

Q:概况一下三元组置信度怎么计算?

三元组置信度 = 局部置信度 + 全局路径置信度 = 局部置信度 + 先验路径置信度 + 自适应路径置信度

METHODOLOGY

置信度感知的KRL框架

基于翻译的框架下，设计感知置信度的KRL函数：

①、与TransE相同，相异度得分越低，表明其对应的三元组能更好地符合翻译假设。

②、与传统方法不同的是，我们还引入三元组置信作为能量函数的第二部分。较高的三倍置信度意味着该三倍中的关系知识更可信。

目标函数

我们采用基于差值的评分函数，并将负采样也作为训练目标。该目标函数试图使正三元组的评分高于负三元组的评分。

 对于成对训练，由于知识图谱中没有显式的负三元组， 我们对负三元组进行采样，这些负三元组遵循以下规则：

 一句话概况：正三元组中的一个实体或关系被三元组集合中的另一 个实体或关系随机替换，确保替换后生成的负三元组不在三元组集合中。

三元组局部置信度

 假设一个三元组越符合翻译规则，就越应该考虑这个三元组。首先直接使用相同的成对函数计算三元组质量，三元组质量得分越高，通常表明三元组质量越好。

在训练过程中存在实体和关系的嵌入优化，局部置信度(LT)应该根据三元组质量动态的变化。

局部三倍置信将以几何速率下降，而随着常数的添加而增加。这是因为我们强烈要求对违反翻译规则的行为进行惩罚，因为那些三元组更有可能是噪声。

全局路径置信度

仅仅关注三元组内部将无法利用知识图谱中丰富的全局结构信息。关系路径可以为三元组提供丰富的全局信息作为支持证据。

关系路径可靠性

当一条关系路径承载更多的首尾实体信息流时，它应该被认为更重要。假设存在某些与头实体h相关的资源，这些资源将通过所有的关系路径流经整个知识图谱。给定实体对(h, t)，最终通过某条路径p流向尾部实体t的资源量将被认为是p的关系路径可靠性。

先验路径置信度

利用关系和路径的共现性来表示它们的不相似性。

我们假设，在路径中出现的关系越多，它们就越有可能代表相似的语义。

P(r, Pi)表示r和p共同出现的先验概率。

P(Pi)表示p的先验概率。

由于我们只考虑了路径和关系的先验概率，因此在训练过程中，先验路径置信度是固定的。

自适应路径置信度

为解决KGs中先验路径置信度在训练过程中保持静态且受噪 声和冲突约束的问题，提出了一种自适应路径置信度。

根据学习到的嵌入信息灵活地学习关系路径质量。

由于我们假设关系嵌入与路径嵌入相似，因此Q值更低意味着一个置信度高的关系-路径对。

 

总的三元组置信度

EXPERIMENTS

 

 

 本文的后续工作（至2019年，后面读到相关论文再进行补充）

Triple Trustworthiness Measurement for Knowledge Graph 

SCEF: A Support-Confidence-aware Embedding Framework for Knowledge Graph Refinement