A Unified MRC Framework for Named Entity Recognition文献阅读

A Unified MRC Framework for Named Entity Recognition

关于A Unified MRC Framework for Named Entity Recognition的文献理解，为了方便快速理解，我选择性记录。

---

---

摘要

命名实体识别（NER）是自然语言处理（NLP）中的一项任务，根据命名实体是否嵌套分为：nested NER 和 flat NER。一般的模型采用的大多是 sequence labeling models（序列标记模型），它只能实现分配单一label给单一token，而nested NER可能出现一个token具有多个label的情况。

本篇论文采用machine reading comprehension (MRC) 的方式，改善传统sequence labeling models。对于命名实体识别转换成一个QA问题，即根据问题找答案，如此一来，nested NER就转换成寻找多个问题的answer。

---

一、数据集

首先，将带有标记的NER数据集改造成三元集合：(Question, Answer, Context)。

对于每一个标签$y\in Y$ 将其关联成$m$个问题： q y = { q 1 , q 2 , . . . , q m } q_y=\{q_1, q_2, ..., q_m\} qy​={q1​,q2​,...,qm​}
实体关联为： x s t a r t , e n d = { x s t a r t , x s t a r t + 1 , ⋅ ⋅ ⋅ , x e n d − 1 , x e n d } x_{start,end}=\{x_{start}, x_{start+1},· · · , x_{end-1}, x_{end}\} xstart,end​={xstart​,xstart+1​,⋅⋅⋅,xend−1​,xend​}即为文章$X$的一个子串，其中满足$start\le end$
这样我们就可以得到一个三元组$(q_y,x_{start,end},X)$即三元集合(Question, Answer, Context)

二、模型细节

1.框架

主要是利用BERT实现，训练数据改造为： { [ C L S ] , q 1 , q 2 , . . . , q m , [ S E P ] , x 1 , x 2 , . . . , x n } ， [ C L S ] \{[CLS], q_1, q_2, ..., q_m,[SEP], x_1, x_2, ..., x_n\}，[CLS] {[CLS],q1​,q2​,...,qm​,[SEP],x1​,x2​,...,xn​}，[CLS]和$[SEP]$为特殊标记。
BERT在接收这个训练数据后会输出一个矩阵 $E\in {\mathbb{R}}^{n\times d}$ 其中$d$表示BERT最后一层的向量维数

2.跨度选择

（1）开始位置预测

利用BERT训练出来的结果$E$预测预测每个token作为开始的机率：
$$P_{start}=softma{x}_{eachrow}(E\cdot T_{start})\in {\mathbb{R}}^{n\times 2}$$
其中$T_{start}\in {\mathbb{R}}^{d\times 2}$需要训练,$P_{start}$给出了相应位置的token作为开始下标的机率

（2）结束位置预测

与开始位置预测过程一致，只是用的是$T_{end}$矩阵，概率矩阵也是用$P_{end}$进行储存

（3）开始-结束 匹配

在预测过程中，可能会有多个同一类别的实体，这意味着有多个开始和结束下标。由于命名实体可能重叠嵌套，将开始下标和最近的结束下标匹配并不适用，所以需要一个新的方法进行匹配。
通过对$P_{start},P_{end}$argmax,可以得到起始位置和结束位置的索引：
I ^ s t a r t = { i ∣ a r g m a x ( P s t a r t ( i ) ) = 1 , i = 1 , . . . , n } I ^ e n d = { j ∣ a r g m a x ( P e n d ( i ) ) = 1 , j = 1 , . . . , n } \hat I_{start}=\{i|argmax(P_{start}^{(i)})=1,i=1,...,n\} \\ \hat I_{end}=\{j|argmax(P_{end}^{(i)})=1,j=1,...,n\} I^start​={i∣argmax(Pstart(i)​)=1,i=1,...,n}I^end​={j∣argmax(Pend(i)​)=1,j=1,...,n}
训练一个二分类模型对开始和结束位置匹配：
$P_{i_{start},j_{end}}=sigmoid(m\cdot concat(E_{i_{start}},E_{j_{end}}))$
其中$m\in {\mathbb{R}}^{1\times 2d}$需要训练

（4）训练和测试

开始和结束位置的损失参数为：
$$\begin{gathered} {\mathcal{L}}_{start}=CE(P_{start},Y_{start}) \\ {\mathcal{L}}_{end}=CE(P_{end},Y_{end}) \end{gathered}$$
开始和结束位置匹配的损失函数为：
$${\mathcal{L}}_{span}=CE(P_{start,end},Y_{start,end})$$
总体损失函数为：
$$\mathcal{L}=\alpha {\mathcal{L}}_{start}+\beta {\mathcal{L}}_{end}+\gamma {\mathcal{L}}_{span}$$
注意：$\alpha ,\beta ,\gamma \in [0,1]$是控制各损失函数对总体贡献超参数。

---

三、结果展示

嵌套NER的数据集的结果：

平面NER数据集上的结果展示：


查询问题和句子之间的注意力矩阵，可以看到问题和正确答案的相关性很高。

可以看到BERT-MRC比BERT-Tagger需要更少的数据。