Disentangling Long and Short-Term Interests for Recommendation阅读笔记

简介

WWW’ 22的文章

摘要

对用户的长期兴趣和短期兴趣进行建模是准确推荐的关键。然而，由于没有用户兴趣的人工标注，现有的方法总是遵循这两个方面纠缠在一起的范式，这可能会导致推荐准确率和可解释性较差。为了解决这一问题，我们提出了一个对比学习框架，以区分长期和短期利益的推荐(CLSR)和自我监督。具体地说，我们首先提出了两个独立的编码器来独立地捕获不同时间尺度的用户兴趣。然后，我们从交互序列中提取长期和短期兴趣代理，作为用户兴趣的伪标签。然后设计成对对比任务来监督兴趣表示与其对应的兴趣代理之间的相似性。最后，由于长期兴趣和短期兴趣的重要性是动态变化的，我们建议通过基于注意力的网络自适应地将它们聚合起来进行预测。我们在电子商务和短视频推荐的两个大规模真实数据集上进行了实验。实验结果表明，我们的CLSR的性能始终优于所有最先进的模型，并且有显著的改进：GAUC提高了0.01以上，NDCG提高了4%以上。进一步的反事实评估表明，CLSR成功地实现了长期利益和短期利益的更强解耦。

方法

1. 用户兴趣建模

用户的兴趣建模分为三个部分，（1）是长期兴趣，（2）是短期兴趣，（3）是和项目$V$的交互，$U$包括用户的id和交互历史。

这个图好牛，非常清晰，学习了。

长期兴趣

长期兴趣反映了用户偏好的整体观点，因此它是稳定的，受最近交互的影响较小。所以把$U$作为输入，其包含了所有历史交互信息。

短期兴趣

短期兴趣是时间依赖变量，可能因为某个点击建立新的兴趣，所以Eq. (2)的输入中包含时间$t$, 从上一次的短期兴趣$U_S^{t-1}$中迭代, 还受到最后一次和项目V的交互Y的影响。

交互预测

将长期、短期兴趣根据当前项目和用户交互历史进行自适应融合，从而进行预测。

这里还加入了一个权重来控制长短期兴趣的占比，举了个小例子，作者说在后续进行解释。【这里有点疑问，Eq. (4)的意义是什么呢？】

2. 自监督的实施

2.1 共用查询向量

${\mathbf{q}}_{\mathbf{l}}^{\mathbf{u}}$: $u$的embedding.
q l u , t = G R U ( { 用 户 u 的 历 史 序 列 } ) \mathbf {q_l^{u,t}}=GRU(\{ 用户u的历史序列\}) qlu,t​=GRU({用户u的历史序列})，GRU是一种门控单元，如下图，是LSTM的简化版本，去掉了细胞状态，将遗忘门和输入门合并成更新门，同时将记忆单元与隐藏层合并成了重置门。


基于上面两个向量，通过2个运算符得到了用户$u$在$t$时刻的长短期兴趣，这两个运算符是一系列操作，后续解释。

2.2 长期兴趣编码

对于项目$j$：①：用一个投影矩阵$W_l$乘上项目$j$对于的embedding，转化为新的向量$v_j$，这里的$x$是$u$的历史交互项目；②： 相当于项目+用户+两者的差+两者对应位置相乘，四个向量拼接，MLP得到一个值；③：Softmax，得到权值，权值乘上项目embedding, 加权叠加得到“长期兴趣”的向量。

2.3 短期兴趣编码

序列embedding作为输入，用RNN得到输出序列，同样的softmax得到权值（文章这里Eq. 18-19应该是11-12吧），乘上RNN的输出得到短期兴趣向量。

3. 预测

①GRU，输入序列前t个项目的embedding, 输出一个包含序列信息的向量$h$
②拼接$h$，t+1时刻交互项目的embedding, 长期短期兴趣
③MLP+sigmoid得到一个值$a$
④用$a$来调控短期和长期的权重，得到最终的用户兴趣向量$u^t$
⑤$u^t$拼接预测项目的embedding, 经过MLP得到预测值$y$.

4. 训练

看看损失函数，由三部分组成，两个Loss和一个正则项

4.1 $L_{rec}$

由预测值产生的对数似然损失，是损失函数的主体

4.2 $L_{con}$

作者说$f$可以是：
$d$是欧氏距离，$\sigma$是激活函数，$<,>$是点积，$m$是边界值，$a$是上面预测的时候计算的一个值，$p$是各embedding的取平均


图里这部分有说明，就是用平均和注意力机制两种pooling方法得到的向量之间的距离作为一个损失正则项，这部分用超参数$\beta$控制权重，作者实验里效果最好的时候$\beta =0.1$.

总结

剩下部分就是大部分消融实验了，没有具体看，主要学习长短期兴趣的提取思路。