【笔记】Neural Architectures for Named Entity Recognition

Neural Architectures for Named Entity Recognition

这是本人读论文的笔记，其余论文部分在网上都有，本人仅对自己未知的知识进行记录！

全文翻译：Neural Architectures for Named Entity Recognition翻译_nopSled的博客-CSDN博客

近/规约解析（ shift-reduce）

Shift Reduce解析器尝试以类似于自下而上的解析方式进行解析的构造，即，从左（下）到根（上）构造解析树。移位减少解析器的更通用形式是LR解析器。
该解析器需要一些数据结构，即

• 用于存储输入字符串的输入缓冲区。
• 用于存储和访问生产规则的堆栈。

Transition-based parsing(基于贪心决策动作的拼接句法树)

句法分析

1.概述

句法分析也是自然语言处理中的基础性工作，它分析句子的句法结构（主谓宾结构）和词汇间的依存关系（并列，从属等）。通过句法分析，可以为语义分析，情感倾向，观点抽取等NLP应用场景打下坚实的基础。

随着深度学习在NLP中的使用，特别是本身携带句法关系的LSTM模型的应用，句法分析已经变得不是那么必要了。但是，在句法结构十分复杂的长语句，以及标注样本较少的情况下，句法分析依然可以发挥出很大的作用。因此研究句法分析依然是很有必要的。

2.句法分析分类

句法分析分为两类，一类是分析句子的主谓宾 定状补的句法结构。另一类是分析词汇间的依存关系，如并列 从属 比较 递进等。下面详细讲解。

第一类为主谓宾定状补句法结构分析

第二类为句法依赖关系分析

简而言之，就是用栈和队列去分析语法。

RNN vs CNN

why not stand network?

• 输入长度不一致
• 不共享特征

1.RNN forward propagation

2.RNN backward propagation

LSTM vs GRU

1.GRU

GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。

• GRU改变了RNN的隐藏层，使其更好地捕捉深层关系，解决了梯度消失问题

在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型中只有两个门：分别是更新门和重置门。具体结构如下图所示：

2.LSTM

长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。

submit:

更新门和重置门: LSTM peephole connection之后就是GRU

更新门和重置门和遗忘门:

CRF Tagging Models

一个非常简单但有效的有效标记模型是使用hth_tht​作为特征来为每个输出yty_tyt​做出独立的标注决策（Ling et al。，2015b）。尽管单独的模型在诸如词性标注（POS）之类的简单问题上取得了成功，但是当输出标签之间存在强烈的依赖关系时，其独立的分类决策是有限的。命名实体识别（NER）就是这一类的任务，因为用于表示一种可解释的标签序列的“语法”强加了几个硬约束（例如，I-PER不能遵循B-LOC;详见§2.4），这是不可能用独立假设进行建模的。

一文了解CRF：一文理解条件随机场CRF - 知乎

                         条件随机场CRF - 知乎

LSTM-CRF

模型图