Raki的读paper小记：Discontinuous Named Entity Recognition as Maximal Clique Discovery

Abstract & Introduction & Related Work

• 研究任务
  不连续NER
• 已有方法和相关工作
  1. 基于组合的模型首先检测所有的重叠span，然后学习用单独的分类器来组合这些片段
  2. 基于过渡的模型通过一连串的移位-还原动作对不连续的span进行增量标记
• 面临挑战
  1. 现有的方法将其分为几个连续的阶段，在推理阶段模型输出依赖于前面的阶段，将会累计偏差
  2. exposure bias
• 创新思路
  将不连续NER转化为寻找图中最大团的非参数化过程，避免了受到暴露偏差的问题
• 实验结论
  sota，五倍的推理速度

回顾一下最大团

最大团 = 补图最大独立集 = 总点数 − 补图最大匹配数

Methodology

Grid Tagging Scheme

构建一个n*n的矩阵，来给每一对token之间一个标签，基于它们间的关系

注意，根据预先定义的标签集，一个标记对可能有多个标签

Segment Extraction

这个二维矩阵用来表示

s代表一个连续的实体，B和I代表beginning和inside

Edge Prediction

1. 头到头(X-H2H)表示它定位在一个地方 $(t_i,t_j)$，其中 $t_i$ 和 $t_j$ 分别是构成X类型的同一实体的两个片段的起始标记
2. 尾对尾（X-T2T）与X-H2H相似，但重点在结束标记上

Sever shoulder pain

Decoding Workflow

Model Structure

Token Representation

用一个线性层进行编码，但是我想问最初的 $h_i$ 是从石头缝里面蹦出来的吗？我寻思你也没说啊？

Segment Extractor

一对标记是一个片段的边界标记的概率可以表示为：

条件层归一化

一个条件向量被当做额外的上下文信息来生成增益参数，c和x分别是条件向量和输入向量

基于CLN机制，token对 $(t_i,t_j)$ 作为一个片段的边界的表示可以定义为：

学习更好的片段表示

Edge Predictor

边缘预测与片段提取类似，因为它们都需要学习每个标记对的表示。关键的区别归纳为以下两个方面。

1. 段落之间的距离通常是没有信息的，所以长度嵌入$e_{len}^{i:j}$ 在边缘预测中是无价值的
2. 对片段之间的标记进行编码可能会带来相关标记的噪声语义，并加重训练的负担，所以i:j中不需要$h_{i:j}^{in}$。在这样的考虑下，我们将每个用于边缘预测的标记对表示为
   

Training and Inference

全连接层，用来预测一对token的标签

交叉熵损失

总损失

Evaluation

Conclusion

在本文中，我们将不连续的NER重新表述为发现片段图中最大团的任务，并提出了一个新颖的Mac架构。它将片段图的构建分解为两个独立的二维网格标记问题，并在一个阶段内共同解决，解决了以往研究中的暴露偏差问题。在三个基准数据集上进行的广泛实验表明，Mac在F1中比以前的SOTA方法高出3.5个百分点，同时速度快5倍。进一步的分析表明，我们的模型有能力识别不连续的和重叠的实体提及。在未来，我们希望在其他信息提取任务中探索类似的表述，如事件提取和嵌套的NER

Remark

novelty有的，但是实现起来感觉有点不优美，实验做的非常足，还行吧