[ins 2022] 针对已见和未见群体的群体推荐中的贝叶斯归纳学习

Bayesian inductive learning in group recommendations for seen and unseen groups

https://www.sciencedirect.com/science/article/pii/S0020025522008933

摘要

群组推荐是指向一组用户（即成员）推荐物品。在预测相关项目时，模型通常会面临未出现在训练步骤中的未见组。最近，深度神经网络和注意力机制通过聚合用户偏好应用于群组推荐。然而，目前的方法不足以处理看不见的群体（即，转导模型）或难以计算具有成本效益的注意力网络和正则化。

在这项研究中，我们提出了新颖的贝叶斯归纳学习方法，称为 IndiG，用于向已见和未见群体提出建议。为了归纳学习，由基于注意力的有效聚合组成的函数分布被用作跨组共享信息。通过将转导模型作为后验结合到所提出的贝叶斯方法中，作为先验的归纳模型可以稳健地学习。我们采用具有成本效益的正则化来防止退化的解决方案，方法是最大化转导模型和归纳模型的组表示之间的相关性，同时去相关组表示的维度。

通过实验，我们证明了所提出的方法优于其他现有方法。实验还表明，对项目的预测评级使用不确定性可以有效地提高性能。

引言

群组推荐中，有两个主要目标：

i）概括成员偏好（或成员推荐）的聚合函数

ii）处理训练期间不存在的看不见的群组。

建模聚合函数（即集合函数）是有限的，因为函数应该能够处理组中各种规模的用户并且对用户顺序的顺序不变。

此外，现实世界中的群组通常是临时的（例如，有晚餐约会的朋友或同事），但是群组推荐系统通常面对看不见的群组。

在这项研究中，我们专注于处理可见和不可见的组，以及在没有退化表示的情况下推广聚合函数。

早期的聚合方法使用预定义的策略，例如平均[4]和最少痛苦[3] 。随后，出现了复杂的概率方法，使用共轭先验和图形模型 [25]、[30]、[46]对用户偏好的混合进行建模。然而，这些概率方法需要许多归纳偏差，例如生成过程。最近，深度神经网络和注意力机制[2] 通过聚合潜在用户偏好[7]、[32]应用于群组推荐, [37]。神经聚合函数利用注意力机制从数据中学习动态聚合策略（例如，一个组成员可能根据所属组具有不同的影响）。

神经聚合函数的稳健学习很困难，因为组项交互通常是稀疏的（交互稀疏度>99%）；因此，它们受到组、用户和项目的输入特征质量的强烈影响。当特征部分可用时，人们可能更喜欢使用嵌入向量（即从预定义 ID 映射的潜在表示，例如，单热编码到嵌入空间）和矩阵分解技术[22]，[27]在转导下环境学习潜在的表征而不是特征。特别是，转换设置意味着整个组都是预先知道的，并且在训练步骤中可以看到所有组至少有一个项目交互。使用适当的组嵌入向量可以帮助学习准确的组偏好[7]。然而，这样的模型不能正确地应用于没有映射信息到嵌入空间的不可见组（图 1（a））。

为了处理可见和不可见的组，[32]、[37]提出了归纳学习模型。归纳模型从数据中学习群体的共同属性，即共享信息，然后将它们应用到看不见的群体中。在以前的工作中，共同属性由聚合函数的神经网络的权重表示，并且权重在组之间共享。但是，共享权重取决于输入；因此，当输入特征的质量较低时，性能可能会下降。性能下降的一个原因是组的潜在表示可以折叠（或退化）[32]; 例如，表示群体偏好的向量可以收敛到一个点（图 2（a））。

为了减轻表征崩溃，[32]提出了基于对比学习的正则化，可以最大化群体及其成员偏好的相互信息。然而，这种对比方法有一些局限性。需要互信息估计器，并且该估计器中使用的负采样可能代价高昂[48]。此外，[32]获得的组表示可以分布在一条线上（dimensional collapse），如图2（b）所示。

所提出的方法最大化了转换模型的中间组表示与归纳模型的中间组表示之间的相关性。因此，组表示可以更好地分布（图 2（c））

本文贡献总结如下：

• 我们提出了一种贝叶斯归纳学习方法，称为靛蓝IndiG，用于向可见和不可见的群体随机推荐项目。对于归纳学习，由有效的基于注意力的聚合组成的函数分布被用作跨组共享信息。通过将转导模型作为后验合并到所提出的贝叶斯方法中，先验（即归纳模型）可以稳健地学习。此外，所提出的方法可用于扩展任何转导组推荐模型，以推荐已见和未见组的项目。

• 我们采用两种正则化策略：

i）一种有效的基于相关性的正则化器（没有负样本和互信息估计器）以防止退化；

ii) 一个基于预测项的正则化器，它是提高归纳模型（但不存在于变分近似中）的准确性所必需的，具有理论洞察力。

• 实验结果表明，与其他现有的群组推荐模型相比，所提出的方法为可见和不可见的群组提供了更准确的推荐。我们进一步进行了不确定性感知建议，以表明对项目的预测评级使用不确定性可有效提高推荐性能。

Preliminaries

直推设置：当我们假设整个组都是预先知道的，并且在训练步骤中看到所有组至少有一个项目交互时。

归纳模型：图3 (c) 中所示的感应设置假设在测试步骤中可能会出现一个看不见的组。归纳模型从数据中学习群体的共同属性（即共享信息），并将它们应用于不可见的群体。神经网络的权重和概率生成过程是共享信息的例子。归纳组推荐模型由图表示F(⋅):

循序不变性：不管是归纳式还是归纳式的群体推荐模型，它们对群体中用户的顺序应该是循序不变的。

本文模型

(a) 所提出的模型IndiG: 群G , 一组项目V，用户u，项目v ，组G的潜在向量z，评级r和权重w F(⋅).

(b) 评级估计器

(c) 潜在向量生成器的模型架构。

3.1 贝叶斯公式

3.1.1 变分推理

3.1.2 生成评分

首先，所提出的方法生成跨组从数据中学习的全局共享信息w ；其次，使用共享信息w和群组成员信息G，生成潜在群组偏好z；最后，我们对给定的组进行项目推荐。所提出的方法可用于可见和不可见的组；因此，它是一种用于群体推荐的归纳学习方法。值得注意的是，组嵌入向量吨G吨G用于训练的数据不再用于评级生成。

关于预测评级的不确定性，我们计算不确定性以过滤掉高度不确定的项目，以便更好地推断看不见的群体。以下是对此的解释。在组推荐中，组项交互在训练数据中通常是稀疏的。此外，可能会出现看不见的群体。看不见的组可能不在训练数据分布范围内；因此，模型需要外推才能为看不见的群体提出建议。然而，如果激活与目标函数不相似，神经网络（例如，多层感知器）不能很好地外推，例如，具有 ReLU 激活的多层感知器不能外推大多数非线性函数[42]. 然而，不可能预先确定目标函数。相反，我们通过限制区域来调整预测结果以更好地推断，适当限制区域将提高性能。要构建适当的限制区域，一种可能的解决方案是过滤掉高度不确定的项目。因此，我们计算给定项目和组的不确定性。

确定性评估所提出方法的另一种方法是使用平均值：

3.1.3 处理负样本

3.1.4 正则化：防止collapse

3.1.5 正则化：归纳模型的预测概率