lisp 线性标注自动避让_《引入字符信息的序列标注模型》论文笔记

Attending to Characters in Neural Sequence Labeling Models

原文链接：https://blog.csdn.net/qq_32782771/article/details/88058551

一、Background

很多NLP任务，比如命名实体识别、词性标注、浅层解析都可以当做是序列标注问题。因此，开发准确和有效的序列标记模型对于广泛的下游应用是有用的。传统的方法设计了很多任务明确的特征——在NER中集成gazetteers，在词性标注中使用形态分析器的特征。最近神经网络架构和表示学习的发展使得模型可以从数据中自动学习有用的特征。

二、Motivation

当前的神经网络模型通常利用词向量，这允许他们对语义或功能相似的单词的学习到类似的表示。这与统计模型相比有很大的提升，但是仍然有一些需要解决的问题。最明显的问题就是如何处理OOV词，如果一个单词在预训练的词向量中找不到，那么模型为了权衡就会赋予该词一个通用的OOV表示。另外，很少见的单词虽然有词向量，但是由于缺少训练数据导致质量不高。该方法在参数使用方面也可能是次优的 - 例如，某些后缀更可能表示这些单词的POS标签，但是这些信息被编码到每个单独的嵌入中而不是在整个词汇表之间共享。
因此，在本文中，作者构建了一个独立于任务的神经网络体系结构用于序列标注，然后用两种不同的方法结合字符级信息来扩展模型。结合字符信息，模型可以推断OOV词的表示并且共享词形信息。作者通过attention来结合字符表示和词向量，使得模型可以动态地选择使用哪部分的信息。另外，作者在目标函数也做了一些改动，使得学习到的字符表示更靠近词向量。

三、Model

1.序列标注的双向LSTM模型

简单的介绍一下词级别的序列标注模型，如图一所示。模型的输入是单词序列(w1​,...,wT​)，预测每个单词的标签。单词序列首先经过Embedding层转化为对应的词向量(x1,...,xT​)，然后经过双向LSTM捕捉词的上下文信息。双向LSTM之后是一个隐藏层，从实验的角度上来说是有用的。隐藏层使得模型可以检测更高层的特征组合，同时更加关注更普遍的模式。接下来就是CRF或softmax层输出标签。

2.字符级别的序列标注模型

分布式词向量将单词映射到一个空间，其中语义相似的单词具有相似的向量表示，允许模型更好地概括。但是这忽略了不同单词之间的表面或形态相似性。通过结合字符信息，我们可以学习到一些形态特征，这对于OOV词很有用。作者提出了两种结合方式，如图二所示。每个单词分解为字符序列，字符序列映射为字符向量(c1​,...,cR​)，然后经过双向LSTM：

hi∗​​=LSTM(ci​,hi−1∗​)hi∗​​=LSTM(ci​,hi+1∗​)

拼接双向LSTM的最后一个隐藏层输出作为单词的字符表示，然后通过一个非线性层：

h∗=[hR∗​​;h1∗​​]m=tanh(Wm​h∗)

因此，现在对于每个单词，我们有两种表示：词向量和字符表示。一种简单的方法就是直接拼接在一起。

x=[x;m]

另一种方法是attention，让模型可以自动地选择词向量和字符信息。

z=σ(Wz(3)​tanh(Wz(1)​x+Wz(2)​m))x=z∗x+(1−z)∗m

基于字符的模型的优点在于可以处理OOV词或者稀有词，而常见词本身就具有高质量的词向量表示。因此，作者希望学习到的字符表示可以与词向量对齐，于是作者在损失函数做了一点改动：

四、Experiment

五、Conclusion

本文的亮点在于词向量的基础上集成了字符表示的信息，而不是用字符表示代替词向量，并且，作者提出了两种集成字符表示的方法：拼接和attention。通过attention机制，模型可以自动地权衡词向量和字符表示的信息。另外，作者还设计了一个新的目标函数，使得学习到的字符表示更偏向于词向量。从实验上来看，基于attention的方法要优于直接拼接的方法。