推荐系统论文：Improving Micro-video Recommendation via Contrastive Multiple Interests

最新推荐文章于 2024-10-04 22:36:54 发布

推荐小白羊

最新推荐文章于 2024-10-04 22:36:54 发布

阅读量642

点赞数 15

文章标签：人工智能推荐算法论文笔记

本文链接：https://blog.csdn.net/s123iij/article/details/141468735

版权

摘要：

现有的短视频推荐系统模型大多数基于多模态信息和整体兴趣嵌入学习，无法反映用户在短视频中的多种兴趣。本文提出提取对比性多重兴趣，并设计出短视频推荐模型CMI。具体来说，就是CMI从每个用户的历史交互序列中学习其多种兴趣嵌入，其中隐含的正交短视频类别用于解耦用户的多重兴趣。此外，它还建立了对比性多兴趣损失，以提高兴趣嵌入的鲁棒性和推荐的性能。

引言：

首先，短视频应用程序每次以全屏的方式显示单个短视频，并以重复方式自动播放。用户通常需要观看短视频封面或者内容数秒之后，才能判断出自己是否对该短视频感兴趣与否。

现有的短视频推荐模型依赖于多模态信息处理，处理大规模微视频的成本太高。此外，它们从用户的交互序列中为其学习单一的兴趣嵌入。然而，大多数用户在观看短视频时会有多种兴趣。例如，用户对旅游和宠物都感兴趣，而用户未来的互动可能涉及其中任何一种兴趣。因此，更合理的方法是为用户学习多个互不相关的兴趣嵌入，每个兴趣嵌入代表用户兴趣的一个方面，然后根据学习到的多个互不相关的兴趣嵌入为用户生成推荐。

另一方面，对比学习最近引起了广泛关注。它通过增强数据来发现输入数据中隐含的监督信号，并在一定的潜在空间中最大化相同数据的不同增强视图之间的一致性。最近，对比学习也被引入到推荐中，如顺序推荐、基于图神经网络的推荐等，实现了去毛刺和去噪，解决了表征退化和冷启动问题，提高了推荐精度。我们注意到，在短视频场景中，由于短视频是自动播放的，有时用户在短视频播放完毕之前无法判断自己是否喜欢该短视频，因此正向互动中存在噪声。

本文提出了一种名为 CMI 的新型短视频推荐模型。该模型基于隐含的短视频类别信息，从用户的历史交互序列中学习用户的多重兴趣解离，并根据每个兴趣嵌入召回一组短视频，然后形成最终的推荐结果。其中，对比学习被纳入 CMI，以实现正向交互去噪，从而提高多兴趣分解的鲁棒性。

方法：

我们用U和V表示用户集和短视频集合。此外，我们将用户和项目之间的交互表示为三元组，也就是说，用户 $u_{i}$ 在时间戳t与短视频 $v_{j}$ 互动的事实将用（i，j，t）表示。给定一个特定用户 $u_{i}\epsilon U$ ,我们首先生成一段时间的历史交互序列，表示为 $s_{i}=[v_{i1},v_{i2},...,v_{i\left | s_{i} \right |}]$ ,其中视频按照用户 $u_{i}$ 与短视频互动的时间戳进行升序排序，其次为每个用户学习多个兴趣嵌入，表示为 $\left [ u_{i}^{1}, u_{i}^{2},.., u_{i}^{m}\right ]$ .然后，对于每个兴趣嵌入，计算与每个候选短视频的余弦相似度，并召回相似度最高的 K个微视频，即总共召回 𝑚K个微视频。最后，我们从召回的微视频中挑选出按余弦相似度排序的 “最佳 ”短视频作为最终推荐。

多兴趣编码器：

文章认为，短视频的类别是决定用户兴趣的基础。用户对某类短视频的偏好构成了用户的兴趣。因此，我们假设有m个全局类别，并为这些m个类别设置可学习的隐式嵌入 $\left [ g_{1},g_{2},...,g_{m} \right ]$ 。对于用户 $u_{i}$ 的历史交互序列 $s_{i}$ 中的项目，我们通过嵌入层依次获得每个项目的嵌入，并形成 $s_{i}=[v_{i1},v_{i2},...,v_{i\left | s_{i} \right |}]$ 。使用短视频嵌入和类别嵌入之间的余弦相似度作为衡量短视频属于哪种类别的得分。更具体地说，项目 $v_{ik}\epsilon s_{i}$ 与类别 $l$ 匹配的得分由公式1计算得出：

接下来，通过公式2计算短视频 $v_{ik}\epsilon s_{i}$ 被分配到类别 $l$ 的概率，其中 $\varepsilon$ 是一个小于1的超参数，以避免概率的过度平滑。

然后，根据公式 3 计算出与短视频类别𝑙相对应的用户兴趣 $u_{i}^{l}$ 。

在进行类别赋值时，我们可能会遇到两种退化情况。其一是每个短视频属于不同类别的概率相同或相似，造成这种退化的原因是学习到的项目类别嵌入是完全相同的。另一种情况是一个短视频类别在整个短视频嵌入空间中占主导地位，这意味着所有的短视频都属于该类别，为了避免出现退化的情况，我们将类别内嵌和短视频内嵌都限制在一个单位超球内，即 $\left \| g_{i} \right \|_{2}=\left \| v_{\star } \right \|_{2}=1$ ，并限制每两个类别内嵌为正交，从而构建正交性损失，如公式 4 所示。

除了对用户的多种兴趣进行编码外，我们还使用 GRU 来模拟用户一般兴趣的演化，得到用户的一般兴趣 $u_{i}^{g}=GRU([v_{i1},v_{i2},...,v_{i\left | s_i \right |}])$

对比正则化：

我们认为部分交互中隐含的用户兴趣与所有交互中隐含的用户兴趣是相同的。因此，我们采用随机抽样进行数据增强。具体来说，给定用户 $u_{i}$ 的历史交互序列 $s_{i}=[v_{i1},..,v_{i\left | s_{i} \right |}]$ ,我们从 $s_{i}$ 中采样最少个短视频（ $\mu \left | s_{i} \right |$ ,f）,并根据它们在 $s_{i}$ 中的顺序形成一个新序列 $s_{i}^{'}$ ,其中 $\mu$ 为采样比，f是默认值为100的最长序列长度。通过两次随机采样 $s_{i}$ ,我们得到了两个序列 $s_{i}^{'}$ 和 $s_{i}^{''}$ .然后，我们将这两个增广序列输入到两个多兴趣编码器来学习两组用户兴趣，即 $U^{'}_{i}=[u_{i}^{1'},u_{i}^{2'},...,u_{i}^{m'}]$ 和 $U^{''}_{i}=[u_{i}^{1''},u_{i}^{2''},...,u_{i}^{m''}]$ ,如方程5所示，其中 $u_{i}^{k'}$ 和 $u_{i}^{k''}$ 均是对应第k个短视频类别的兴趣。

然后，构造了如下的对比多兴趣损失。对于用户 $u_{i}$ 的任意兴趣嵌入 $u_{i}^{k'}\epsilon U_{i}^{'}$ 构造一个正对 $\left ( u_{i}^{k'}, u_{i}^{k''}\right )$ ,利用 $u_{i}^{k'}$ 和 $u_{i}$ 的另外2m-2个兴趣嵌入，即 $u_{i}^{h'}\epsilon U_{i}^{'}$ 和 $u_{i}^{h''}\epsilon U_{i}^{''}$ ,构造2m-2个负对，其中 $h\epsilon [1,m],h\neq k$ 。由于m通常不会太大，因此在给定 $u_{i}^{k'}$ 的情况下，我们取同一批中其他用户的兴趣嵌入来构建额外的负对。综上，设训练批次为B，其次大小为|B|,对于每个正对，有2m(|B|-1)+2m-2=2(m|B|-1)个负对，构成负集合 $S^{-}$ 。进一步，在式( 6 )中定义对比多利益损失，其中 $sim(a,b)=a^{T}b/(\left \| a \right \|_{2}\left \| b \right \|_{2\tau })$ ， $\tau$ 为温度参数。

通过数据增强和对比式多兴趣损失，使用户兴趣学习对特定的积极交互不再敏感，从而降低有噪积极交互的影响，实现积极交互去噪。

损失函数：

用户 $u_{i}$ 与候选短视频 $v_{t}$ 之间的交互得分预测为 $c_{it}=max_{0<k\leq m}(\left \{ u_{i}^{kT}v_{t/\varepsilon } \right \})+u_{i}^{gT}v_{t}$ ，其中 $k\epsilon [1,m]$ .在训练过程中，对于用户 $u_{i}$ 的每个正面样本 $v_{p}^{i}$ ，我们需要从完整的短视频中随机抽取从未互动过的𝑛 个短视频作为负面样本。。然而，为了避免高昂的抽样成本，给定一个正样本，我们只对一个负样本进行抽样，即n为1。此外，我们将同一批中其他用户的正采样项和负采样项作为负样本，从而形成负样本集N。然后我们采用下面的交叉熵损失作为损失的主要部分。

最后，我们的损失函数在方程8中显示，其中 $\lambda_{\ast }$ 是正则化系数。

实验：
实验装置：
数据库：

微信：这是微信大数据挑战赛 2021发布的公开数据集。该数据集包含用户在微信频道上的互动，包括点赞、收藏等显性满意度互动和播放等隐性参与互动。

Taka Tak：该数据集来自面向印度用户的短视频应用Taka Tak。该数据集包含了50000名匿名用户在四周内的交互记录。

两个数据集的统计如表2所示。对于一个时间跨度为h天的数据集，我们构建了包含第一个h - 2天的交互关系的训练集，包含第( h-1 )天的交互关系的验证集和包含第h天的交互关系的测试集。

测量指标：

这里使用Recall@K和HitRate@K作为评价推荐质量的指标。

对比模型：

Ocotopus、MIND、ComiRec-DR、ComiRec-SA、DSSRec。

总结：

实施细节、性能比较、消融实验等去原文自行观看。

推荐小白羊

关注

15
点赞
踩
20

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

推荐系统论文：Improving Micro-video Recommendation via Contrastive Multiple Interests

摘要：

引言：

方法：

多兴趣编码器：

对比正则化：

损失函数：

实验：

实验装置：

数据库：

测量指标：

对比模型：

总结：