KEPLER: A unified model for knowledge embedding and pre-trainedlanguage representation

小蜗子

已于 2023-08-28 15:07:58 修改

阅读量168

点赞数 1

分类专栏：知识图谱的文本动态补全文章标签：人工智能深度学习

于 2022-12-06 16:17:58 首次发布

本文链接：https://blog.csdn.net/weixin_44466434/article/details/128203378

版权

知识图谱的文本动态补全专栏收录该内容

29 篇文章 9 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

KEPLER是一种融合知识嵌入和预训练语言表示的模型，旨在将事实知识整合到PLM中并增强从文本中提取知识的能力。通过使用Transformer架构和联合优化知识嵌入与屏蔽语言建模目标，KEPLER在NLP任务中表现出卓越性能，并且在归纳设置中执行知识嵌入。

摘要由CSDN通过智能技术生成

摘要

预先训练的语言表示模型(PLMs)不能很好地从文本中获取事实知识。相比之下，知识嵌入方法可以通过信息实体嵌入有效地表示知识图中的关系事实，但传统的知识嵌入模型不能充分利用丰富的文本信息。本文提出了一种统一的知识嵌入和预训练语言表示(KEPLER)模型，该模型不仅能更好地将事实知识整合到PLM中，而且能在强PLM中生成有效的文本增强KE。在KEPLER中，我们用PLM作为文本实体描述的嵌入，然后联合优化KE和语言建模目标。实验结果表明，KEPLER在各种NLP任务中都具有最先进的性能，并且作为一种归纳KE模型在KG链路预测中也具有很好的效果。此外，为了对KEPLER进行预训练和评估，我们构建了Wikidata5M1，一个具有对齐实体描述的大规模KG数据集，并在其上对最新的KE方法进行基准测试。它可以作为一个新的知识产权标准，促进大知识产权、归纳知识产权和文本知识产权的研究。