知识图谱学习笔记（三）之构建一

仅记录自身学习历程，内容来源于网络、书籍。

传统的命名实体识别方法

目前已经并非主流的方法，在此不再赘述。

基于深度学习的命名实体识别方法

相较于传统方法优点很多，在此不再赘述。

主要分为三大步骤：

输入的分布表示

主要利用外部资源及深度学习网络，将输入文本无监督地表示为稠密且低维的实值向量，实值向量的每一维都表示文本的某种潜在语法或语义特征。

1、单词级别的分布表示

简化的n元模型：计算当前词的条件概率时，只考虑当前词的前n个词，可表示为

$$P_{(}{\omega }_i|{\omega }_1,{\omega }_2,...{\omega }_{i-1})\approx P_{(}{\omega }_i|{\omega }_{i-(n-1)},...,{\omega }_{i-1})$$

Bengio等人提出了用神经网络建立统计语言模型的框架（NNML），使用一个三层前馈神经网络，利用前面n-1个词来预测后面的一个词。

Mikolov等人提出词的分布模型Word2vec，
包括CBOW和Skip-gram，这是两种从大量无结构化的文本数据中学习高质量的词向量表示的有效方法，但无法解决计算量庞大的问题，Mikolov等人又提出了Hierarchical Softmax和Negative Sampling方法来加速训练。

Pennington等人提出了GloVe模型，利用词汇的全局共现信息来构建一个词汇的共现矩阵，并对这个共现矩阵进行降维得到词的分布表示。相比于Word2vec模型，它在充分利用语料库全局统计信息的同时，提高了词向量在大语料上的训练速度。

2、字符级别的分布表示

循环神经网络与统计语言模型（Statistical Language Model）的结合也为字符级别的分布表示提供了一种思路，Akbik等利用双向循环神经网络分别预测下一个字符与上一个字符，更有利于学习文本的语法和语义属性。

3、人工特征表示

与神经网络的分布表示方法相比，人工特征表示往往具有明确的意义，其本质是将基于神经网络的分布表示与基于特征工程的方法相结合。

上下文编码

在命名实体识别任务中，上下文编码的本质是利用深度学习网络记住文本上下文的局部或全局信息，形成某种形式的中间语义，为后面输出标签序列的推测提供依据。常用的上下文编码器有卷积神经网络、循环神经网络、递归神经网络、神经语言模型和Transformer等。

1、基于卷积神经网络的上下文编码

Collobert等人提出了一种窗口方法，用于词性标注、词语组块分析和命名实体识别等自然语言处理任务。

2、基于循环神经网络的上下文编码

在命名实体识别中，循环神将网络往往是双向的，这是因为识别一个命名实体，往往由命名实体前面若干“历史信息”和后面若干“未来信息”共同决定。当循环神经网络用于单词的上下文编码时，通常会拼接当前时刻的正向隐状态和反向隐状态，作为当前时刻的上下文表征。

3、基于递归神经网络的上下文编码

递归神经网络可以返回树上每个节点的向量表达，常用来建模句子的语法与语义结构。虽然在建模层次结构数据方面具有一定的优势，但必须要把每个句子标注为语法解析树（Parsing Tree）的形式，需要花费很大标注成本。

4、基于神经语言模型的上下文编码

结合了神经网络和统计语言模型对单词的上下文进行编码。

5、基于Transformer的上下文编码

$Transformer$完全依赖于$Attention$机制，从而彻底抛弃了传统的神经网络单元，有利于训练更深的网络。

标签解码方法

利用上下文编码得到的信息，推测最有可能的输出标签序列。

多层感知器+$Softmax$将标签序列预测转化成一个多类别分类问题，输出层经常是一个Softmax函数。

条件随机场应用较为广泛，计算复杂度正比于标签类别数量的平方。当标签数量比较多时计算复杂度高。

循环神将网络以一种贪婪方式产生标签序列。

基于指针网络的解码器采用“先分割-再标注”的策略进行命名实体识别，与前几个不同的是，指针网络的命名实体识别是块（Segment）级别的，而不是单词级别。