实体对齐(实体链指 实体消歧)等主要是对预训练模型的微调。
微调主要包括预训练任务微调和输入表示微调,其中输入表示微调一般是先验知识的引入,预训练任务的调整主要是使模型契合实体相关的任务。
1.Global Entity Disambiguation with Pretrained Contextualized Embeddings of Words and Entities
https://arxiv.org/pdf/1909.00426v2.pdf
输入表示:
预训练任务:基于MLM的对实体的预测 ![](https://i-blog.csdnimg.cn/blog_migrate/167dda86e48640523cfb7cb13785398f.png)
利用整个词表中的实体做预测。
Local ED Model
Global ED Model
实验结果:
2.Word Sense Disambiguation with Transformer Models
https://aclanthology.org/2021.semdeep-1.2.pdf