EMNLP 22:SetGNER: General Named Entity Recognition as Entity Set Generation

SetGNER: General Named Entity Recognition as Entity Set Generation

**任务形式:**识别flat、nest和不连续实体。

**任务建模方式:**采用基于pointer的方式实现任务建模,文本序列中的每个word可以用tag表示,具体为:
三个特征的tags: ⟨∅⟩, indicating no-entityfound; ⟨#⟩, indicating fragment of entity is found;
⟨/s⟩, indicating the end of the generated sequence.
Ptr(⟨∅⟩) = C,
Ptr(⟨#⟩) = C + 1,
Ptr(⟨/s⟩) = C + 2.
序列中其余tags的表示:(j是word在序列中位置)
Ptr(wj ) = C + 3 + j

pointer sequence for entity ei is defined as:在这里插入图片描述

模型结构

1 word level 的encoder

先采用encoder编码器得到token level 的embedding的表示。
之后,采用maxpool 操作,得到word level 的embedding表示。具体是对每个word的tokens中,计算tokens的start和end的表示。
R是word level的表示,size是N*d
在这里插入图片描述

2 mention detector

2.1 预测每个head word下有多少个实体?

V = ReLU(WV R + bV )
之后,使用softmax layer计算,得到在这里插入图片描述
loss函数:
在这里插入图片描述

2.2 预测一个word是否是entity的head或者tail?

在这里插入图片描述

3 parallel generator

由于目标序列由Pointer tags组成,因此在解码之前应将它们转换为单词/标签。我们将此操作表示为 Retrieve(·)
在这里插入图片描述

对于retrieve之后的序列,采用bart的decoder完成解码操作。

在这里插入图片描述
loss 函数:
在这里插入图片描述

训练过程

还有一个反向生成过程。
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YingJingh

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值