Instance-Based Learning of Span Representations：A Case Study through Named Entity Recognition

最新推荐文章于 2023-09-26 10:22:18 发布

「已注销」

最新推荐文章于 2023-09-26 10:22:18 发布

阅读量492

点赞数

分类专栏：论文笔记文章标签：深度学习机器学习人工智能

本文链接：https://blog.csdn.net/Jeaksun/article/details/123540804

版权

论文笔记专栏收录该内容

59 篇文章 5 订阅

订阅专栏

该文提出了一种基于实例学习的方法，用于命名实体识别（NER），通过学习span之间的相似性，建立高可解释性的模型。模型以span分类形式处理NER，解决了嵌套实体的问题。实验表明，这种方法在不牺牲性能的同时，能构建具有解释性的NER模型，且对训练数据量的减少表现出一定的鲁棒性。

摘要由CSDN通过智能技术生成

Instance-Based Learning of Span Representations：A Case Study through Named Entity Recognition

基于实例的跨度表示学习：命名实体识别的实例研究

Abstract

本文提出了一种学习跨度相似性的基于实例的学习方法，能够在不失去性能的前提下建立具有较高可解释性的模型

code

1 Introduction

基于实例的学习方法（通过学习实例之间的相似性）。在推理时，将最相似的训练实例的类标签分配给新的实例。

采用token span的原因：

为实体候选“World Health Organization”分配不一致的标签
- 采用BIO标注：B-LOC I-ORG I-ORG
- 而真实标签：B-ORG I-ORG I-ORG
- 采用span预测，可以为每个span分配一个标签（可以解决嵌套NER问题）。

2 Model

2.1 NER as span classification

给定一个由T个单词的句子 $X=(w_1,w_2,...,w_T)$ ，首先列举出可能的span $\mathcal{S}(X)$ ，并给每个span $s\in \mathcal{S}(X)$ 分配类标签 $y\in \mathcal{Y}$ 。

把每个span写成 $s = (a, b)$ ，其中 $1\le a \le b \le T$

可能存在的spans 为 $\mathcal{S}(X)=\{(1,1),(1,2),(1,3),...,(4,5),(5,5)\}$
$\mathrm{Franz\ Kafka}$ ， $s = (1, 2)$ ，被分配为人名类标签 $y = P E R$
其他的非实体span被分配到null标签（y=NULL）

每个span s 被分配为标签y的概率可以用softmax函数建模：
$\frac{exp(score(s,y))}{\sum_{y^{'}}exp(score(s,y^{'}))}$
score函数通过使用每个标签的权重向量 $W_y$ 和span特征向量 $h_s$ 来计算：
$w_y\cdot h_s$
NULL 标签的得分被计算为一个常数：
$s c o r e (s, y = N U L L) = 0$
loss 为负对数似然函数log-likelihood：
$\mathcal{L}=-\sum_{(X,Y)\in \mathcal{D}}\sum_{(s,y)\in \mathcal{S}(X,Y)}log P(y|s)$
其中 $\mathcal{S}(X,Y)$ 是一组有span s和它的ground-truth label y组成的对

2.2 Instance-based span model

根据实例的span模型根据span之间的相似度对每个span进行分类

一个实体候选 $\mathrm{Franz\ Kafka}$ 以及训练集的span被映射到特征向量空间。在向量空间中，分别计算所有候选对和训练实例 $s_1,s_2,...,s_9)$ 之间的相似性，计算token概率分布，并给出PER概率最高的token分。

形式上，在邻域组件分析框架中，定义邻域span概率，即在训练集中选择一个span $s_i\in \mathcal{S}(X)$ （可能的span）然后在剩余的候选集中的span中选择其他span $s_j$ 作为它的邻域：
$P(s_j|s_i,\mathcal{D}^{’}) = \frac{exp(score(s_i,s_j))}{\sum_{s_k\in \mathcal{S(D}{’})}exp(score(s_i,s_k))}\tag{1}$
本文从训练集 $\mathcal{D^{’}=D}\setminus {(X,Y)}$ 中排除输入句子X以及它的真实标签Y，并把其他所有的span都作为候选者 $\mathcal{S(D^{’})}=\{s\in\mathcal{S}(X^{’})|(X^{’},Y^{’})\in \mathcal{D^{'}}\}$ 。评分函数返回的是span $s_i,s_j$ 之间的相似度。

然后计算span $s_i$ 被分配给标签 $y_i$ 的概率：
$P(y_i|s_i) = \sum_{s_j\in \mathcal{S(D^{'},y_i)}}P(s_j|s_i,\mathcal{D^{'}})\\ \mathcal{S(D^{'},y_i)}= \{s_j\in \mathcal{D^{'}}|y_i=y_j\}$
将具有与span $s_i$ 相同标签的相邻span的概率相加，最小化的损失函数是负对数似然：
$\mathcal{L}=-\sum_{(X,Y)\in \mathcal{D}}\sum_{(s_i,y_i)\in \mathcal{S}(X,Y)}log P(y_i|s_i)$
$\mathcal{S}(X,Y)$ 是一个span $s_i$ 对的集合，它的真实标签是 $y_i$ ，推理时，根据最大边远概率预测标签：
$\overset{\wedge}{y_i} = \underset{y\in\mathcal{Y}}{arg\ max}P(y|s_i)$

2.3 Efficient neighbor probability computation

等式1中邻域span 概率 $P(s_j|s_i,\mathcal{D}^{'})$ 取决于整个训练集 $\mathcal{D}^{'}$ ，这样计算成本太高了，因此使用随机采样来从训练集 $\mathcal{D}^{'}$ 中检索k个句子 $\mathcal{D}^{"}=\{(X_k^{'},Y_k^{'})\}_{k=0}^{K}$ ，训练时，从每个epoch的每个mini-batch中随机采样k个句子，可以在时间和内存两个方面都进行优化，使用V100，只用不到一天的时间。

3 Experiments

3.1 Experiment setup

Data CoNLL-2003进行flat NER；GENIA进行nested NER

**Encoder and span representation **使用word embedding和字符级CNN来编码，编码后的token表示为：
$w_{1:T}=(w_1,w_2,...,w_T)$
将编码后的token输入到双向LSTM中计算上下文向量得到 $\overset{\rightarrow}{h_{1:T}}$ 和 $\overset{\leftarrow}{h_{1:T}}$ ，然后为每个span $s = (a, b)$ 生成 $h_s^{lstm}$ 。

对于flat NER :

$h_s^{lstm}=[\overset{\rightarrow}{h_b}-\overset{\rightarrow}{h_{a-1}},\overset{\leftarrow}{h_a}-\overset{\leftarrow}{h_{b+1}}]$

对于nested NER：

$h_s^{lstm}=[\overset{\rightarrow}{h_b}-\overset{\rightarrow}{h_{a-1}},\overset{\leftarrow}{h_a}-\overset{\leftarrow}{h_{b+1}},\overset{\rightarrow}{h_a}+\overset{\rightarrow}{h_{b}},\overset{\leftarrow}{h_a}+\overset{\leftarrow}{h_{b}}]$