Learning Plausible Inferences from Semantic Web Knowledge - note (详细题目见正文)

• Learning Plausible Inferences from Semantic Web Knowledge by Combining Analogical Generalization with Structured Logistic Regression: 结合类比推广和结构化逻辑回归 来从 语义网络知识中学习 合理推论

   

   

  Abstract：快速和高效学习大量丰富的常识知识是认知系统的一个关键要求。本文使用结合类比推广的结构化逻辑回归模型来利用结构和统计信息达到快速健壮的学习。

   

  Introduction

  1.语义网络知识库是感知系统自动获取常识知识和学习合理的推理的潜在的资源。语义网络知识库积累了大量的结构化数据,并且支持人工智能任务，如智能问答和信息检索。目前，KBs仍在快速增长。

  2.语义网络知识库有：Freebase, WordNet, and YAGO

   

  3.使用语义网带来两个关注点：

  1）语义网可以提取自文本或众包搜集，所以不完整，有噪音。

  2）语义网数据是结构化的。大多数推理方法是基于特征向量，并不能基于结构操

  作。

   

  4.统计关系模型关注点在于扩展统计机器学习的方法，从特征向量到关系数据。

  Eg.马尔科夫逻辑网络将一阶逻辑和马尔科夫网络结合。具有一阶逻辑的表现能力和马尔科夫网络的统计能力，但是可扩展性差。

  神经网络模型或者双线性模型是基于实体的向量嵌入。预测精度高，但不透明，无法让人明白模型得出的推理或答案。

   

  Background

  1. 本文的模型建立在 顺序类比概括引擎上： Sequential Analogical Generalization Engine （SAGE）。SAGE轮流使用结构映射引擎 (SME) 和 MAC/FAC 来做类比比较和类比检索。(MAC/FAC：一个基于相似性的检索模型)

  1）Structure-Mapping Engine （SME）作为模型的基础：具有相似性比较的作用，在本文中，SME 输入两个结构化表示，源 和 目标, 并产生一个或多个映射。每个映射提供一组对应、一个对于匹配质量的总体评价的结构化评估分数，还有候选推断。

  2）MAC/FAC：具有类比检索的作用，MAC / FAC 输入实例库, 是一套结构化的描述。在实例库中，它返回一个或多个最相似的实例的近视值, 使用S一个二阶过程,使其可以扩展到大型实例库：

  1. 使用一个 扁平化的实例关系结构--内容向量。其大小正比于描述中每个谓词出现的加权数。
  2. 两个内容向量的点积是对 SME 结构评估分数 的一个估算。

   

  2. Generalizations（概括）是关联了状态和概率性的结构化表示。

  SAGE 为每个概念维护了一个概括语境。每个概括语境维护一组的概括的和一组未同化的例子。

  当一个样例增加，SAGE使用MAC/FAC来检索出与之最相似的最多三个样例或者概括。如果没有返回项或者返回项的相似度低于同化阈值，就将新样例存储。

  否则 如果返回值是 概括，就将新样例并入这个 概括。

  如果返回值是没有同化的样例，就将 他们结合成一个新的 概括。

   

  3.链路预测：网络中的链路预测(Link Prediction)是指如何通过已知的网络节点以及网络结构等信息预测网络中尚未产生连边的两个节点之间产生链接的可能性。

  4.逻辑斯蒂（Logistic）：是应用范围比较广泛的数学模型,用两种方法对其参数进行了拟合.

   

  Method

  本文拓展了类推泛化与结构化逻辑回归利用结构以及统计信息的语义网络知识库。主要的目标是学习什么样的推论是合理的。

  1.第一步是准备数据: 使用路径查找构建案例。将语义网看作是图，使用 路径查找 方法选择相关的事实构建实例。 限制 分支因子 和 搜索深度。

  2.第二步是学习一个推理的模板：类比概括：模板学习的结构调整。通过SAGE得到的 概括 可以看作是一个模板。使用多个 概括 作为一个模板有很强的表达力。

  3.计算模板里的事实对目标关系的支持度或者反对程度：结构逻辑回归：权重调整的结构映射和梯度下降。

  1）给定一个 样例，使用SME将其与 概括 对比。计算 这个样例是一个 正样例的概率：

  s是SME计算出来的相似度。

  2）使用交叉熵来定义预测误差，使用L1正则化 促进权重调整的稀疏性。这个误差的与相似度分数有关，相似度分数又与权重有关。可以计算 误差 关于 权重 的导数，然后做梯度下降。

  4.寻找最大权重路径来 预测和解释

  使用验证集的定义一个标准 c 。预测得分大于 c 时,模型预测是正确,否则它预测是错误的。

   

  Conclusion and future work

  1 SME 和 SAGE适用于高阶关系。可以尝试将其用到 reading system和 草图理解系统。

  2 将本文方法跟 SRL做对比。