BERT_MRC

一、 简介

论文： 20年ACL A Unified MRC Framework for Named Entity Recognition 

代码链接：https://github.com/ShannonAI/mrc-for-flat-nested-ner

二、 方法介绍

2.1 解决问题

解决嵌套型NER的问题，例子如下：

 有地方介绍，这种方法对于小样本效果会更好

2.2 原理

论文引入了query先验知识，进行ner预测。   

比如对于LOC类别，我们构造这样的query：找出国家，城市，山川等抽象或具体的地点。模型通过attention机制，对于query中的国家，城市，山川词汇学习到了地点的关注信息，然后反哺到passage中的实体信息捕捉中。

提取具有不同类别重叠的两个实体需要回答两个独立的问题。

这里query除了是这种人工构造的模板，如下图，也可以是相关的实体定义。

同时，根据经验来说，不同的query会导致结果不同。

2.3 输入

输入： [CLS]query[SEP]text[SEP], 例如：

这里一些细节需要注意：① 序列长度，BERT不能超512，需要截断 ② 序列mask。预测结果算loss的时候需要mask掉query部分进行计算。

2.4 损失函数

预测结果为实体的开始位置、结束位置以及从开始到结束位置是实体的概率，损失函数分为三个部分，L-start.L-end,L-span

L-start:每一个token的二分类CE之和（答案开始），L-end：每一个token的二分类CE之和（答案结束），L-span：答案开始和答案结束组合的二分类CE之和。span loss通过一个二维矩阵来记录真实实体在句子中的（Start，End）位置，比如某个实体在文本中的位置是1~3，那么它在二维矩阵的坐标（1,3）则标注为1。

Lstart = CE(Pstart, Ystart)

Lend = CE(Pend, Yend)

Lspan = CE(Pstart,end, Ystart, end)

L = αLstart + βLend + γLspan

α, β, γ ∈ [0, 1]

L-span loss 是为了解决实体重叠NER问题。 这里有点没太看懂， 解决重叠问题和span loss有什么关系

三、 方法优缺点

优点：

可以有效解决重叠NER的问题；

加入预训练模型对于小样本效果更好

缺点：

query问题设置，标准比较模糊，设置不好可能导致效果较差； 

需要处理的样本量随实体类型的数量成正比增加，导致效率可能较低 

标签不平衡问题，在真实场景下，大部分的文本中只存在很少的实体，而一个实体只对应一个start和end标签，剩下的大部分标签都是负样本。

 

四、参考链接

【论文阅读】A Unified MRC Framework for Named Entity Recognition

A Unified MRC Framework for Named Entity Recognition | ACL2020

命名实体识别Baseline模型BERT-MRC总结

【NLP】详聊NLP中的阅读理解（MRC）

 

五、延伸阅读

LM-BFF  提出了拼接模板做多种NLP任务的方案，采用T5模型自动生成模板。跟BERT_MRC方法有一些相似之处，有兴趣可以读一下~