#今日论文推荐# 浙大、阿里提出DictBERT，字典描述知识增强的预训练语言模型

#今日论文推荐# 浙大、阿里提出DictBERT，字典描述知识增强的预训练语言模型

今天给大家带来一篇IJCAI2022浙大和阿里联合出品的采用对比学习的字典描述知识增强的预训练语言模型-DictBERT，全名为《Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning》
又鸽了许久，其实最近看到一些有趣的论文，大多以知乎想法的形式发了，感兴趣可以去看看，其实码字还是很不易的~

预训练语言模型（PLMs）目前在各种自然语言处理任务中均取得了优异的效果，并且部分研究学者将外部知识（知识图谱）融入预训练语言模型中后获取了更加优异的效果，但具体场景下的知识图谱信息往往是不容易获取的，因此，我们提出一种新方法DictBert，将字典描述信息作为外部知识增强预训练语言模型，相较于知识图谱的信息增强，字典描述更容易获取。
在预训练阶段，提出来两种新的预训练任务来训练DictBert模型，通过掩码语言模型任务和对比学习任务将字典知识注入到DictBert模型中，其中，掩码语言模型任务为字典中词条预测任务（Dictionary Entry Prediction）；对比学习任务为字典中词条描述判断任务（Entry Description Discrimination）。
在微调阶段，我们将DictBert模型作为可插拔的外部知识库，对输入序列中所包含字典中的词条信息作为外部隐含知识内容，注入到输入中，并通过注意机制来增强输入的表示，最终提升模型表征效果。

论文题目：Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning
详细解读：https://www.aminer.cn/research_report/62f3aed07cb68b460f0008b6https://www.aminer.cn/research_report/62f3aed07cb68b460f0008b6
AMiner链接：https://www.aminer.cn/?f=cs