大规模知识图谱预训练模型及电商应用

  摘要：近年来，知识图谱因具有以统一的方式组织数据等优势，被广泛应用于许多需要知识的任务，并且在电子商务领域大放光彩。然而知识服务通常需要烦琐的数据选择和知识注入模型的设计，这会给业务带来不良影响。为了更好地解决这一问题，提出了“预训练+知识向量服务”的模式，并设计了知识图谱预训练模型（PKGM），在不直接访问商品知识图谱中三元组数据的情况下，以知识向量的方式为下游任务提供知识图谱服务。在商品分类、同款商品识别和商品推荐等知识图谱下游任务中进行测试，实验结果表明，知识图谱预训练模型能够有效地提高每个任务的性能。

关键词： 知识图谱 ; 预训练 ; 电商

1 引言

知识广泛存在于文本、结构化及多种模态的数据中。除了通过抽取技术将知识从原始数据中萃取出来以支持搜索、问答、推理、分析等应用，另外一种思路是利用数据中本身存在的基本信号对隐藏的知识进行预训练（pre-training）。随着GPT、BERT、XLNet等预训练语言模型在多项自然语言处理领域任务上刷新了之前的最好效果，预训练受到了各界的广泛关注。预训练的核心思想是预训练和微调，例如文本预训练一般包含两个步骤：首先利用大量的自然语言数据训练一个语言模型，获取文本中包含的通用知识信息；然后在下游任务微调阶段，针对不同的下游任务设计相应的目标函数，基于相对较少的监督数据进行微调，即可得到不错的效果。

受预训练语言模型的启发，笔者将预训练和微调的思想应用到大规模商品知识图谱的表示学习与业务应用中。在阿里巴巴电商平台，包含千亿级三元组和300多万条规则的商品知识图谱被构建起来