EMNLP-21-Coarse-to-Fine Pre-training for Named Entity Recognition

Coarse-to-Fine Pre-training for Named Entity Recognition

我们首先通过实体跨度识别任务对模型进行预热，方法是使用维基百科的锚点对其进行训练，该锚点可以被视为一般类型的实体。然后我们利用基于地名词典的远程监督策略来训练模型提取粗粒度类型实体。最后，我们设计了一个自我监督的辅助任务，通过聚类挖掘细粒度的命名实体知识

1模型结构

第一步：训练一个模型抽取span
第二步：利用远程监督对标得到的数据集，训练模型抽取粗粒度实体
第三步：聚类（K-means）得到细粒度实体类别（聚类分配被用作伪标签来指导 Dbest s 到伪标记细粒度数据集的转换），利用模型在细粒度实体上做训练。

2模型训练

3 总结

看实验，感觉模型的效果，并乜有太大的提示。。

倒是觉得这篇文章，可以用在nosiy label的识别上，不对，应该是数据量较少的label识别上，这篇文章可以作为NER正式开场之前的“预训练”阶段。（预训练打上引号）——让模型适应该任务之后，在做task domain的NER任务。