干货！针对知识图谱学习的高效超参搜索算法

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

超参数调优对于知识图谱学习是一个重要问题，会严重影响模型性能，但由于模型训练时间长，现有的超参数搜索算法往往效率低下。

为解决这一问题，我们详细地分析了不同超参数的性质，及子图到全图的迁移能力。并根据实验效果提出了两阶段的调参算法KGTuner，我们在第一阶段利用子图高效地探索大量超参数，并将性能最好的几组超参数配置迁移到全图上，在第二阶段进行微调。

实验表明，两阶段搜索算法大大提升了超参数搜索效率，在不同的大规模知识图谱链接预测任务上，均获得了性能的提升。

本期AI TIME PhD直播间，我们邀请到香港科技大学计算机系博士——张永祺，为我们带来报告分享《针对知识图谱学习的高效超参搜索算法》。

张永祺：

第四范式算法科学家，从事机器学习算法研究工作，主要研究方向为自动化机器学习、知识图谱表示学习与图神经网络。其自研的自动化知识图谱表示学习技术，在知识图谱的多项重要任务上达到国际领先水平，并在人工智能领域顶级会议期刊NeurIPS、TPAMI、ACL、WWW、VLDB Journal、ICDE上发表多个相关工作。他于2020年博士毕业于香港科技大学，2015年本科毕业于上海交通大学。

1

Background

Background – Knowledge Graph (KG)

首先，对于知识图谱来说，有以下背景知识。

用关系来度量头实体和尾实体之间的关联。作为语义图谱的KG，既要建模语义信息，也要建模结构信息。

Representative applications代表应用

Background – Knowledge Graph Learning

如上图所示，在给到一个知识图谱之后，我们希望把符号表达映射到向量表达，并学习实体之间关系的一个表示。

Advantages:

• Continuous, ease of use in ML pipeline.

• Discover latent properties.

• Efficient similarity search

Background – Machine learning on Knowledge Graph

• A scoring function F to measure the plausibility triplets

• A sampling scheme to generate negative samples S-!

• A loss function L and regularization r to define the learning problem • An optimization strategy for convergence procedure