#今日论文推荐# ACL 2022 | 跨语言命名实体识别：无监督多任务多教师蒸馏模型

#今日论文推荐# ACL 2022 | 跨语言命名实体识别：无监督多任务多教师蒸馏模型

这是一篇来自于 ACL 2022 的关于跨语言的 NER 蒸馏模型。主要的过程还是两大块：1）Teacher Model 的训练；2）从 Teacher Model 蒸馏到 Student Model。采用了类似传统的 Soft 蒸馏方式，其中利用了多任务的方式对 Teacher Model 进行训练，一个任务是 NER 训练的任务，另一个是计算句对的相似性任务。整体思路还是采用了序列标注的方法，也是一个不错的 IDEA。

Teacher Model 在进行训练时，采用了两种不同的 Labeled Data，一种是传统的单文本序列标注数据；另一种是句对类型的序列标注数据，然后通过三个独立的 Encoder 编码器进行特征抽取，一个任务就是我们常用的 NER 训练任务，也就是将 Encoder 编码器的输出经过一个线性层映射为标签数的特征矩阵，对映射的特征矩阵进行 softmax 归一化（这里笔者理解就是 NER 任务中的 BERT+Softmax 模型），利用归一化后的特征矩阵与输入的 labels 进行 loss 计算，这里采用的是 CrossEntropyLoss。

论文题目：An Unsupervised Multiple-Task and Multiple-Teacher Model for Cross-lingual Named Entity Recognition
详细解读：https://www.aminer.cn/research_report/62ce6de97cb68b460fea231chttps://www.aminer.cn/research_report/62ce6de97cb68b460fea231c
AMiner链接：https://www.aminer.cn/?f=cs