COLING2022 | 少样本NER：分散分布原型增强的实体级原型网络

每天给你送来NLP技术干货！

---

来自：AI Station

论文标题：

Few-shot Named Entity Recognition with Entity-level Prototypical Network Enhanced by Dispersedly Distributed Prototypes

作者单位：国防科技大学

论文链接：https://arxiv.org/abs/2208.08023

01

—

方法介绍

Few-shot NER的三阶段：Train、Adapt、Recognize，即在source域训练，在target域的support上微调，在target域的query上测试。

如上图，左边（1-3）表示的是原型的loss1（训练目标为各个原型分散分布），右边（4-7）表示的是span的representation获取，中间（8）是一个多层FFN（为了使得原型表示和span表示最终映射到同一个向量空间），中间（9-10）则是计算原型和span在同一个空间的loss2（为了使得实体span更靠近原型表示）

02

—

和过往工作相比

1、使得Adapt阶段不只是通过对support集中的实体词表示平均得到实体原型表示，而是能够进行finetune（文中提到Ma et al. (2022) claim that the finetuning method is far more effective in using the limited information in support sets.）

2、过往的原型网络的训练方法使得最终的原型表示较接近，本文通过构造loss1（上一段提到的）使得原型表示分散开

03

—

实验结果

这里仅挑选附录部分的FEW-NERD实验结果

从实验结果来看，在INTRA上效果较好，在INTER上不如ESD。其中INTRA是指source和target之间的实体的粗粒度类型无交集，INTER则在粗粒度上有交集（细粒度上无交集）。（另外，2022年还有一篇SOTA文章Decomposed metalearning for few-shot named entity recognition，这里没有进行对比）

04

—

消融实验

1、使用token-level

2、缺少loss1（把原型打散的loss，方法介绍中有说）

3、使用cosine similarity而不是Euclidean distance来衡量span-prototype相似度

---

📝论文解读投稿，让你的文章被更多不同背景、不同方向的人看到，不被石沉大海，或许还能增加不少引用的呦~ 投稿加下面微信备注“投稿”即可。

最近文章

EMNLP 2022 和 COLING 2022，投哪个会议比较好？

一种全新易用的基于Word-Word关系的NER统一模型

阿里+北大 | 在梯度上做简单mask竟有如此的神奇效果

ACL'22 | 快手+中科院提出一种数据增强方法：Text Smoothing

---

下载一：中文版！学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套！  后台回复【五件套】
下载二：南大模式识别PPT  后台回复【南大模式识别】

---

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

整理不易，还望给个在看！