自然语言理解理论实践-知识图谱(二)《个人学习笔记》

基于深度学习的知识图谱

   本文基于 《基于深度学习的自然语言处理》书籍等相关知识理论的个人理解总结
   知识图谱（KG）是一种用于常识推理和自然语言理解的基本知识库，它囊括了大量有关世界实体、实体属性和不同实体之间语义关系的知识。
   三大类基于深度学习的知识图谱技术：
    1、 知识表征学习技术–将知识图谱中的实体和关系嵌入稠密、低维且实值得语义空间；
   2、神经关系抽取技术–从文本中抽取可以用来构建/完成知识图谱得事实或关系；
   3、基于深度学习的实体链接技术–运用文本数据衔接知识图谱，这有助于完成多种不同的任务。

知识图谱的认识

    基本概念：知识图谱通常是由实体（现实世界的确切个体以及抽象概念）和实体间的关系这两个元素组合。 它将各种知识以（e1,关系,e2）的形式排列形成大量的三元组事实组合，其中e1表示头实体，e2表示尾实体。
  事实上，可以直观一点理解，知识图谱类似大脑对所客观世界信息的存储，这个所存储成的实体必然需要联系到我们多感知到的实体（比如你听到一个问题），而理解和反馈这个实体（即问题）则需要一个内在的联系，这个联系可以将所感知的实体和我们之前存储的实体进行联系（即理解）的过程，知识图谱的作用也是如此。
  所以定义一个知识图谱是一个极其复杂的且存在辩证的过程，因为这将从哲学角度去认识世界，而认识本身就是一个反复运动且耦合着实践本身，且世界任何实体对象也都是运动变化的，符合着三大物质规律和七大范畴，任何事物对象可以看作一个整体也可以看作另一个整体的部分，这将复杂去定义一个知识图谱，尤其在找头实体与尾实体之间的关系，这种关系不像数学中的函数那么简单，且这种关系是多对一，或者一对多，多对多都是可能的，所以注定这种实体的关系不单单是数学中的函数关系，也有着泛函的概念。

都有哪些知识图谱

  关于现在流行的知识图谱可以做一个总结：
  1、freebase : 一个大型的协创数据库，主要从其会员处拉取数据。
  2、DBpedia：是一个众包社区，从维基百科上抽取结构化信息并公布网上；
  3、维基数据（Wikidata）
  4、YAGO
  5、知网（HowNet）：在线常识数据库，揭示了概念与概念间和属性间关系，其主要理念是为了实现对客观世界的理解和阐释。

知识图谱的三大重要任务：

1、知识表征学习

  知识表征是一个传统的表示方式，也是深度学习的一个分支，其作用是将实体和关系嵌入到知识图谱中（稠密的、低维的、实值得语义空间中），下面直接开始知识表征学习的最典型的算法–TransE。

1.1、知识表征学习算法-TransE

  算法依据论文《Translating Embeddings for Modeling Multi-relational Data》，在后续得TANSH、TRASR、TRANSA等，都是在此基础上得拓展，可以依据TransE算法去认识该类知识表征得算法思想。首先应该建立一个数学上得思想：表征的目的是为了对俩个有关系的实体建立关系，对立着想也就是对没有关系的实体进行去关系化，而这种关系的衡量值直观一点来说就是距离，所以上句话可以理解为有关系的实体之间的距离是近的，没有关系的距离就是大的，而对实体进行数学化就是向量了，在TRANSE中关系r也是一个向量，所以整个表征学习的数学思想就建立起来了，简单点说 就是其中一个实体向量通过和关系r（关系其实是自然语言处理中的语义）的数学运算可以等于另个一实体，是不是理解起来简单多了，下一步当然就是具体的数学算法了：
  论文中的算法流程：

所以只需要理解该图就行了，其中(h,l,t)分别表示了头实体、关系、尾实体，h、t都是属于实体空间E，l表示的关系是属于关系空间L，而TransE的目的是为了让h+l 约等于或者逼近等于t，根据上面提到的思想就是 让同一个三元组的h+l是逼近t，而对于其它的T空间中的实体t_1则反之，因此也就可以对其进行关键的损失函数建模了，论文截图：
值得注意的是TransE本身是一种一对一的映射关系，所以每一个关系l不能被别的实体复用，以此基本可以理解上图的损失函数了，其中的 除了确定的三元组(h,l,t)之外的任何组合都相当于是负例，因此训练样本的正例和负例这里也就定义出来了，还有损失函数中的引入了超参γ ，之所以将正例距离和负例距离引入是为了将二者的损失作为整体的损失，也就是学习的目标是为了同时让正例距离最小，负例距离最大的过程，因为做差的关系所以求整体的最小成了整体的学习目标，又因为这样的计算注定会出现负数，所以不得不引入了超参数，可以理解为一个常数，是一个经验值，并不影响对损失函数的理解，因为梯度求导中会被消掉。
  到这里，基本是整个TransE算法的全部，其实并不难理解，后面出现的TransH、TransR等或者是高斯型的（意味加入了统计上的概率关系）基本依据该算法的拓展，其实都是在关系 l 上做文章，对其复杂化，所处理的实体关系复杂度也增强了，不像TransE只能处理一对一的比较死板的关系 。
  还有相关的知识表征学习比如TransH、TransR等等。

2、知识抽取

  知识抽取KG的第二大任务，其实它的另一个名字估计更为熟悉就是命名实体识别（Named Entity Recognition, NER）是自然语言处理中的一项基本任务，利用序列标注等方法，抽取出文本中的实体。命名实体一般指的是文本中代表具体指向意义的实体。
  早期的NER识别利用规则和字段的方法识别NER是别叫粗暴，泛化性不好，扩展性不够强，往往应用于简单的且实体构造单一的场景中；接着传统的机器学习算法利于HMM、HEMM、CRF算法模型替代了早期的方法；当深度学习发展起来以后，人们开始利用CNN-CRF和RNN-CRF的深度模型来识别NER;直到现在注意力机制提出和迁移学习在识别NER有着更进一步的效果，因此Transformer、BERT成为了比较流行的选择。
  整个发展总结为：（1）字典和规则； （2）机器学习HMM、HEMM、CRF; (3)深度学习CNN-CRF和RNN-CRF； （4）注意力机制和迁移学习Transformer、BERT。

2.1 条件随机场 CRF

  这一小节主要研究CRF的算法原理和如何使用CRF模型识别NER，值得注意的是CRF是一种判别式模型。具体该定义可以看刘建平博客关于条件随机场的介绍。

   …* 有空会续上 其它表征 算法 * …

LAST : 算法拓展

   在之前做的知识表征算法中，都是在现有的实体间进行表征，但是这种表征关系仅限存在的实体，若是只有一个实体，我们依然要对其进行表征，而关系r 和 尾实体 t，是我们需要求得，这种情况下，该如何解？

单实体的表征方法

      …* 未完待续 * …