基于深度学习的命名实体识别与关系抽取

基于深度学习的命名实体识别与关系抽取
【备注：此博文初次编辑为2019年12月19日，最新编辑为2019年12月19日】
摘要：构建知识图谱包含四个主要的步骤：数据获取、知识抽取、知识融合和知识加工。其中最主要的步骤是知识抽取。知识抽取包括三个要素：命名实体识别（NER）、实体关系抽取（RE） 和 属性抽取。其中属性抽取可以使用python爬虫爬取百度百科、维基百科等网站，操作较为简单，因此命名实体识别（NER）和实体关系抽取（RE）是知识抽取中非常重要的部分，同时其作为自然语言处理（NLP）中最遇到的问题一直以来是科研的研究方向之一。
  本文将以深度学习的角度，对命名实体识别和关系抽取进行分析，在阅读本文之前，读者需要了解深度神经网络的基本原理、知识图谱的基本内容以及关于循环神经网络的模型。可参考本人编写的博文：（1）基于深度学习的知识图谱综述；（2）[深度神经网络]；（3）(https://blog.csdn.net/qq_36426650/article/details/84398458)。
  本文的主要结构如下，首先引入知识抽取的相关概念；其次对词向量（word2vec）做分析；然后详细讲解循环神经网络（RNN）、长短期记忆神经网络（LSTM）、门控神经单元模型（GRU）；了解基于文本的卷积神经网络模型（Text-CNN）；讲解隐马尔可夫模型（HMM）与条件随机场等图概率模型（CRF）；详细分析如何使用这些模型实现命名实体识别与关系抽取，详细分析端到端模型（End-to-end/Joint）；介绍注意力机制（Attention）及其NLP的应用；随后介绍知识抽取的应用与挑战，最后给出TensorFlow源码、推荐阅读以及总结。本文基本总结了整个基于深度学习的NER与RC的实现过程以及相关技术，篇幅会很长，请耐心阅读：

• 一、相关概念
• 二、序列模型数据
• 三、循环神经网络
• 四、循环神经网络的缺陷
• 五、长短期记忆神经网络（LSTM）与门控神经单元（GRU）
• 六、长期依赖模型的优化
• 七、概率图模型（PGM）
• 八、运用Bi-LSTM和CRF实现命名实体识别
• 九、卷积神经网络
• 十、基于文本的卷积神经网络（Text-CNN）的关系抽取
• 十一、基于依存关系模型的关系抽取
• 十二、基于远程监督的关系抽取
• 十三、注意力机制（Attention）
• 十四、基于注意力机制的命名实体识别与关系抽取
• 十五、三元组的存储——图形数据库
• 十六、Tensorflow实现命名实体识别与关系抽取
• 十七、推荐阅读书籍
• 十八、项目实例1（面向智慧农业的知识图谱及其应用系统 · 上海华东师范大学数据科学与工程学院）
• 十九、项目实例2（博主的本科毕业设计&计算教育——智学AI·基于深度学习的学科知识图谱）
• 二十、总结

一、相关概念

在传统的自然语言处理中，命名实体识别与关系抽取是两个独立的任务，命名实体识别任务是在一个句子中找出具有可描述意义的实体，而关系抽取则是对两个实体的关系进行抽取。命名实体识别是关系抽取的前提，关系抽取是建立在实体识别之后。

1.1 实体与关系

实体是指具有可描述意义的单词或短语，通常可以是人名、地名、组织机构名、产品名称，或者在某个领域内具有一定含义的内容，比如医学领域内疾病、药物、生物体名称，或者法律学涉及到的专有词汇等。实体是构建知识图谱的主要成员。
  关系是指不同实体之间的相互的联系。实体与实体之间并不是相互独立的，往往存在一定的关联。例如“马云”和“阿里巴巴”分别属于实体中的人名和机构名，而它们是具有一定关系的。
  在命名实体识别和关系抽取之后，需要对所产生的数据进行整合，三元组是能够描述整合后的最好方式。三元组是指（实体1，关系，实体2）组成的元组，在关系抽取任务中，对任意两个实体1和实体2进行关系抽取时，若两者具有关系，则它们可以构建成三元组。例如一句话“马云创办了阿里巴巴”，可以构建的三元组为（“马云”，“创办”，“阿里巴巴”）。

1.2 标注问题

监督学习中有三种问题，分别是分类问题、回归问题和标注问题。分类问题是指通过学习的模型预测新样本在有限类集合中对应的类别；回归问题是指通过学习的模型拟合训练样本，使得新样本可以预测出一个数值；标注问题则是根据输入的序列数据对其用预先设置的标签进行依次标注。
  本文的思想便是序列标注，通过输入的序列数据，选择相应的模型对样本进行训练，完成对样本的标注任务。
  常用的标注任务包括命名实体识别、词性标注、句法分析、分词、机器翻译等，解决序列标注问题用到的深度学习模型为循环神经网络。

二、序列模型数据

在深度神经网络一文对深度神经网络的分析中已经指出，传统的BP神经网络只能处理长度固定，样本之间相互独立的数据，而对于处理命名实体识别、关系抽取，以及词性标注、情感分类、语音识别、机器翻译等其他自然语言处理的问题中，文本类的数据均以句子为主，而一个句子是由多个单词组成，不同的句子长度不一致，因此对于模型来说，大多数是以单词为输入，而单个词往往没有特定的意义，只有多个词组合在一起才具有一定的含义。例如对于“马云”一词，单个词“马”可能表达的是动物，“云”一词可能表示的是天上飘得云彩，也可以表示“云计算”的云，而“马云”却表示人名。所以这一类数据之间是有关联的。我们对句子级别的数据称为序列模型数据。
  对于文本类的序列模型数据，通常是不能直接作为模型的输入数据的，需要进行预处理。

2.1 one-hot向量

将句子中的单词转换为数字的一种方法是采用one-hot向量。例如训练集中有3000个不重复的单词，根据其在词汇表中的排序，可以依次为其编号，例如“a”编号为0，“book”的编号为359，“water”的编号2441。因此这3000个单词都有唯一的编号。
  为了能通过向量形式表达，one-hot向量是指除了下标为该单词编号所对应的的值为1以外其他都为0。例如一个集合只有一句话“马云在杭州创办了阿里巴巴”，其中只有11个不重复的词，分别编号0-10，则“马”字的one-hot向量为[Math Processing Error] [1,0,0,0,0,0,0,0,0,0,0][1,0,0,0,0,0,0,0,0,0,0]，“阿”字的one-hot向量是[Math Processing Error] [0,0,0,0,0,0,0,0,1,0,0][0,0,0,0,0,0,0,0,1,0,0]。
  one-hot向量能够很清楚得为每一个词进行“数值化表示”，将人理解的内容转换为计算机可以理解的内容。
  Ps：有关onehot向量的详解：OneHot编码知识点，数据预处理：独热编码（One-Hot Encoding）

2.2 词嵌入向量（word embeddings）

one-hot向量虽然能够简单的表示一个词，但是却存在三个问题：
  （1）one-hot向量是稀疏向量，并不能存储相应的信息；
  （2）当语料库中包含的词汇很多时（上百万上千万），一个one-hot向量的维度将会很大，容易造成内存不足；
  （3）序列模型的数据需要能够体现出词语词之间的关联性，单纯的one-hot向量不能体现出关联性。例如对于词汇“good”和“well”都表示不错的意思，再某些程度上具有相似关联，而one-hot只是简单的编号，并未体现这层相似性。
因此，为了解决one-hot带来的问题，引入词向量概念。
  词向量有许多种表达方式，传统的方法是统计该词附近的词出现的次数。基于深度学习的词向量则有word embeddings，其是通过谷歌提出的word2vec方法训练而来。
  word2vec方法是将高维度的one-hot向量进行降维，通常维度设置为128或者300，其通过神经网络模型进行训练。基于神经网络的词向量训练有两种模型，分别是CBOW和Skip-Gram模型，如下图

（1）CBOW模型是将一个词所在的上下文中的词作为输入，而那个词本身作为输出。通常设置一个窗口，不断地在句子上滑动，每次滑动便以窗口中心的词作为输出，其他词作为输入。基于大量的语句进行模型训练，通过神经网络的梯度下降法进行调参。最终神经网络的权重矩阵即为所有词汇的word embeddings。
  （2）Skip-Gram模型与CBOW相反，其随机选择窗口内的一个词的one-hot向量作为输入，来预测其他所有词可能出现的概率，训练后的神经网络的权重矩阵即为所有词汇的word embeddings。
  word2vec对训练好的神经网络，需要通过遍历所有词汇表抽取出所有词汇的word embedding，常用的优化模型是哈弗曼树（Hierarchical Softmax）和负采样（Negative Sampling）。
  Ps：关于word2vec训练详细解读可参考：如果看了此文还不懂 Word2Vec，那是我太笨，Word Embedding与Word2Vec；关于word2vec的模型优化可参考基于Hierarchical Softmax的模型概述，基于Negative Sampling的模型概述。

三、循环神经网络