基于多任务学习的异质信息网络推荐 | 论文解读（上）

本文为 TKDE2020 的文章《Multi-task Learning for Recommendation over Heterogeneous Information Network》前半部分的解读。

论文链接：https://sci-hub.tw/10.1109/TKDE.2020.2983409

---

这篇文章提出了一个多任务学习框架，称为 MTRec，用于 HIN 上的推荐。MTRec 依靠自注意力机制学习 HIN 中元路径的语义，并联合优化推荐和链接预测任务。通过使用贝叶斯任务权重学习器，MTRec 能够在优化过程中自动实现两个任务的平衡。此外，MTRec 通过“翻译”机制提供了良好的推荐可解释性，该机制用于建模用户、项目和连接它们的元路径之间的三向交互。实验结果表明，MTRec 比最新的基于 HIN 的推荐模型具有更好的性能，并且文章最后提供的案例分析表明，MTRec 增强了 RS 的可解释性。

---

介绍

与传统的推荐方法相比，基于 HIN 的推荐方法能够对不同对象之间的复杂交互进行建模。描述和使用这些信息是提高推荐质量的关键，因为不同对象之间的交互会影响用户的行为，特别是当用户做出购买决策时。

因此，基于HIN的推荐技术提供了一种方法来了解哪些信息会影响推荐结果，并且对可解释的推荐系统具有重要价值。

目前基于 HIN 的 RS 的局限：

• 基于元路径/元图的相似性的方法：相似度计算的高计算复杂度阻碍了这些方法在真正大规模的 HIN 中的充分应用。

• 基于嵌入的方法：这些方法假定 HIN 是不变的，即 HIN 在 RS 的生命周期中不会更新。然而，RS 中数据的增加给 HIN 带来了新的用户-项目交互和项目-项目关系。数据更加密集的 HIN 可以进一步提高推荐的质量。

因此，HIN 与推荐之间存在着交互作用。然而，现有的方法只是对推荐进行优化，忽略了还有其他相关的任务（例如，对HIN的动态增长进行建模），联合学习多个任务可能会进一步提高所有任务的泛化性能。

针对上述问题，这篇文章提出了一种基于 HIN 的多任务学习推荐框架（简称 MTRec）。文章的贡献总结如下：

• 设计了一个主要依靠注意力机制的基于元路径的推荐模型。通过利用自注意力，在细粒度学习过程中可以识别元路径中每个因素的重要性。

• 将元路径建模为从用户到项目的异构“翻译”，以刻画用户、项目以及连接它们的元路径之间的三向交互。基于翻译的三向建模不仅提高了推荐的性能，而且提高了推荐的可解释性。

• 首次将多任务学习引入到基于 HIN 的推荐系统中。选择链接预测作为用于对网络的动态进行建模的辅助任务，并设计了一个多任务学习框架，该框架同时优化 HIN 中的推荐任务和链接预测任务。

• 在联合优化过程中，使用贝叶斯任务权重学习器自动实现主任务和辅助任务的平衡。贝叶斯任务权重学习器不仅对这篇文章提出的基于 HIN 的推荐任务有好处，而且对涉及多任务学习和负抽样的其他任务也有一定的帮助。

定义

基于HIN的推荐问题：给定系统中的用户-项目交互矩阵 和相应的 HIN ，对于每个用户 ，基于 HIN 的 RS 旨在提供 最感兴趣的 个项目的推荐列表。

HIN的链路预测：长度为 的元路径 的每个实例 可以被分段成 个链路：，其中 是 中的第 个对象。然后，在给定其前面的 个对象的情况下，HIN的链接预测问题可以被定义为元路径实例中的第 个对象的预测问题。

MTREC

模型概述

以往的基于 HIN 的推荐系统通常忽略了 HIN 的稀疏性和动态性。为了解决这些问题，MTRec 引入了一个辅助任务——HIN 的链路预测，并利用多任务学习设计了 MTRec 的体系结构。基于 HIN 的推荐任务和 HIN 的链接预测任务是相关的，因为它们共享元路径的一些特征。MTRec 采用多任务学习为基于HIN的推荐带来了几个好处：

• 链接预测模拟了 HIN 的动态增长，不仅有助于丰富 HIN 的信息（从而缓解了稀疏性问题，MTRec 还考虑了来自不连接目标用户和候选项目的元路径的信息），而且还通过多任务的特征共享和联合优化提高了推荐任务的性能。

• 多任务学习有助于模型将重点放在最基本的特征上，因为辅助任务将为这些特征的相关性或无关性提供额外的证据。

• 多任务学习增强了 MTRec 的泛化能力，因为它使模型偏向于选择主任务和辅助任务都喜欢的特征。

MTRec的体系结构。“ ”表示哈达玛积运算符，“ ”表示串联运算符。“U”和“I”分别表示用户和项目。“A”、“B”、“C”和“D”是四种不同的对象类型。

上图为MTRec的总体体系结构，它由两个模块组成。左边的部分是 self-attentive 推荐模块，它根据连接用户和候选项目的元路径向用户提供 top-k 推荐。右边的部分是为 HIN 中的链路预测而设计的。这两个模块共享底层对象嵌入层。此外，每个模块拥有一个私有特征空间，并共享用于多任务学习的公共元路径特征空间。每个模块中的私有特征和共享特征分别通过各自模块中的私有自注意力层和公共自注意力层来学习。最后，在联合优化过程中，使用贝叶斯任务权重学习器自动平衡这两个任务。

主要任务：基于 HIN 的推荐

自注意力元路径建模

与以前利用 CNN 等神经网络来学习元路径表示的基于嵌入的方法不同，MTRec 主要依靠自注意力来捕捉元路径中的复杂语义。MTRec 中使用的自注意力元路径建模方法可以分解为以下几个部分。

1. 对象嵌入层

   将 HIN 中每个对象的 ID 作为输入特征。输入特征（例如对象类型为 的对象 的 ID）以独热编码的形式表示为二值化稀疏向量 . 输入层上方是所有对象类型的嵌入层。每个嵌入层是一个完全连接层，它将稀疏的独热表示 投影成密集的 维向量 ，以表示 HIN 中具有类型 的对象 .

2. 元路径嵌入层

   因为每个元路径由一系列对象类型组成，通过串联序列中对象的嵌入来表示每个元路径实例。给定元路径 的一个长度为 的实例 ，它的嵌入