文献阅读05期：GLaRA - 弱监督实体识别的图方法扩充

[ 文献阅读·DL ] GLaRAc: Graph-based Labeling Rule Augmentation forWeakly Supervised Named Entity Recognition

推荐理由：本文收录于EACL2021，文章提出了一种基于图的标注规则增强框架，该框架可以从未标注的数据中自动学习新的标注规则。

原文标题：GLaRA: Graph-based Labeling Rule Augmentation forWeakly Supervised Named Entity Recognition[1]

1.摘要&简介

• 人工标记是一件昂贵且费力不讨好的事情，所以Named Entity Recognition（NER，命名实体识别）系统应运而生。
• 不过当下NER算法也面临很多挑战，首先大部分NER算法都需要大量的人工加工，并且还要相关领域的专业知识作支撑。
• GLaRA是一套规则扩充框架，可以从未标记的数据中学习心得标记规则。
• 近年来，通过启发规则创建弱标签的方法逐渐流行，其也被称作为“标记规则”，虽然这套规则不要求人工标记，但为特定领域写“标记规则”也是个很麻烦的事情。
• 它需要规则制定者对所要研究并标记的领域有深刻的见解才行。
• 由此，本文提出GLaRA
• 第一步：本文的做法首先创建一个图，图中节点代表着从未标记数据中所抽取出来的候选规则。
• 第二步：通过搜索规则之间语义上的关系，设计一个新的图神经网络用来扩充标记规则。
• 最终步：将扩充之后的规则应用到未标记的数据上，并产生弱标签。用这些弱标签训练一个NER模型。
• 本文通过三个NER数据集评估GLaRAc的效果，平均评分提高20%
• 我们可以根据已有的规则以及语义关系来发现潜在的新的规则。
• 下图展示了GLaRA的基本流程：
  

2.GLaRA本体

• 大段文字描述就略过了，配合图2，看一眼大致知道其行文逻辑，以下仅对关键的图传播模型（Graph Propagation Model）进行拆解：
• 语义相近的规则在预测实体标签的时候，结果也应当较为相似。
• 对于节点$i$，令给定输入Embedding为$h_i$，且其近邻为${\mathcal{N}}_i$，首先计算连接对$(i,j)$的注意力权重，公式如下：
  α i j = exp ⁡ ( f ( A T [ W h i , W h j ] ) ) ) ∑ k ∈ N i exp ⁡ ( f ( A T [ W h i , W h k ] ) ) (1) \alpha_{i j}=\frac{\left.\exp \left(f\left(A^{T}\left[W h_{i}, W h_{j}\right]\right)\right)\right)}{\sum_{k \in N_{i}} \exp \left(f\left(A^{T}\left[W h_{i}, W h_{k}\right]\right)\right)}\tag{1} αij​=