Learning beyond datasets: Knowledge Graph Augmented Neural Networks for Natural language Processing

概述：

现在的机器学习算法的核心都是利用有关领域的有标签或者无标签的数据集，虽然已经存在迁移学习可以将一个领域的知识用于其他领域，但是这些方法还是扩展性比较差，并且只能应用于特定领域。所以能不能有一种训练方式，除了基于训练数据的学习之外，能够为模型注入一般的世界知识的方式进行训练？该论文主要是用世界知识（知识图谱三元组的形式）来增强模型。目标就是建立一种深度学习模型，该模型可以从世界知识中中提取出基于特定任务的的先验事实。为了减少注意空间，引入了一个基于卷积的实体和关系的学习表示模型。该模型可以应用于一般的NLP任务，这样的模型会减少对有标签数据的需求。

 

为什么世界知识可以优化模型？论文中给出两个例子：

A:The couple is walking on the sea shore and

B: The man and woman are wide awake.

在这里如果需要从A推出B的话只是通过那些有标签数据是不可以，还需要一些常识即“the man and woman”和“the couple”意思是一样的。

Donald Trump offered his condolences towards the hurricane victims and their families in Texas.

对上面句子做文本分类时，我们只有知道<Donald Trump, president, United States>和<Texas, state, United States>这样的知识时才能将该文本分到政治新闻。

该论文的贡献：

1. 提出了一种深度学习机制来联合建模实体和关系检索模型和特定任务的模型训练。
2. 在文本分类和自然语言推理两个任务上的表现远远优于普通模型。
3. 虽然有很多研究是关于知识图谱的表示的，但该论文是第一个尝试用知识图谱中的知识来训练模型的。

 

 

知识图谱的表示：

在我另一个博客中详细介绍了知识图谱的表示。https://blog.csdn.net/tianyuhang123/article/details/103339897

 

模型：

 

1. 基础模型

 

思路图：

 

 其中学习xw 的表示的模型，首先通过LSTM得到句子的表示，然后利用注意力机制（与知识图谱中的所有实体和所有关系）求得最终的实体表示（关系表示）。

                           实体（关系）检索模型

 

 

得到句子中的实体和关系的表示后，类比TansE模型中的转导一样构造该事实的分布式表示[e,r,e+r],然后将该事实和原始句子表示拼接进行训练。

 

1. 改进一

因为知识图谱中实体和关系的数量巨大，所以each attention value的梯度容易饱和，这样在与原来数据一块训练时，模型就会容易忽略该部分，这样导致的结果就是，分类结果还是依据原始数据，与知识图谱中的知识关系不大，为了解决该问题，先把实体（关系）检索模型预训练好。

 

1. 改进二

由于知识图谱中的实体和关系的数量巨大，所以将相似的归为一类，这样可以减小关注空间

1. 先用k均值分类分为若干类
2. 每一类用基于卷积的方式合并带一个表示