KDA- 时序推荐中项目关系的时间演化效应

KDA

摘要

用户意图是推荐系统需要考虑的一个重要因素，它总是在不同的环境中动态变化。最近的研究(以顺序推荐为代表)开始专注于预测用户想要什么，而不是用户喜欢什么，这种研究更善于捕捉用户意图，并引起了兴趣的激增。然而，用户意图建模并不是无足轻重的，因为它通常受到各种因素的影响，其中项目关系及其时间演化效应非常重要。
例如，手机的消费会对相关商品的需求产生不同的影响:对于补充品，需求可能会在短期内得到提升；而对于替代品来说，长期效果可能会更好，因为用户不需要马上换一部手机。此外，不同关系效应的时间演化在不同领域有所不同，这使得适应性地考虑它们具有挑战性。因此，大多数现有的研究只是通过将项目关系的语义编码到嵌入中来松散地结合项目关系，而忽略了细粒度的时间感知效应。

在这项工作中，我们提出了知识感知动态注意(KDA)来考虑关系效应及其时间演化。具体来说，为了模拟历史关系交互对用户意图的动态影响，我们将历史序列聚合成关系特定的嵌入，其中关注权重由两部分组成。首先，我们测量历史项目和目标项目之间的关系强度，以根据每个关系来建模绝对影响程度。其次，为了模拟关系效应如何随时间漂移，我们创新性地引入了具有可学习频域嵌入的傅里叶变换，以自适应地估计不同关系的时间衰减函数。随后，利用自关注机制导出整个历史序列的最终表示，该表示反映了动态用户意图，并将被应用于生成推荐列表。

面临的挑战

为了建立关系强度模型并实现时间演化的自适应估计，主要有两个挑战:(1)尽管现有的数据集或知识图包含一些项目关系，但看得见和看不见的项目对的确切关系强度是未知的。(2)不同项目关系的时间演化效果在不同场景下差异很大，需要无领域方法自动捕捉动态效果。为了应对这些挑战，我们提出了知识感知动态注意力(KDA)，以更好地理解动态用户意图。KDA的主要思想是自适应地将历史序列聚合成多个特定于关系的嵌入(称为关系动态历史嵌入)。注意力权重取决于相互作用的项目和目标项目之间的关系强度和时间间隔。然后通过建模这些关系动态历史嵌入的相互影响来捕获用户意图。

---

基本方法：

首先，我们通过一个知识图嵌入任务来建模项目-项目关系及其强度。关系项目对的匹配分数被最大化，以将项目关系的语义编码到嵌入中。然后，分数函数将用于测量交互项目和目标项目之间的关系强度，这随后确定历史项目的部分注意力权重。更重要的是，我们创新性地引入傅里叶变换来模拟不同关系交互的不同时间效应。特别地，基于我们的实证研究，我们假设对于数据集中的每种关系类型，存在时间间隔的潜在和连续的时间衰减函数，这决定了关系效应对目标项目的时间演化。然后，我们通过离散傅里叶变换(DFT)参数化每个时间衰减函数的频域表示，称为频率嵌入。以这种方式，可以自适应地估计时间衰减函数，而无需预定义的函数形式。通过在相应的频率嵌入上应用离散傅里叶逆变换(IDFT)，可以容易地获得看不见的时间间隔的函数值，这提供了将潜在的和连续的时间效应结合到神经模型中的一般方法。

KDA被用来模拟项目关系及其时间演化效应。我们设计了关系强度和频域嵌入来自适应地确定历史交互的重要性。基于傅立叶的时间衰减函数估计进一步开辟了一条将时间动力学集成到神经模型中的新途径。

我们想要验证历史关系交互的效果在现实世界的数据集中是如何随时间变化的。考虑到很难直接观察到关系交互的时间效应，我们求助于研究用户序列中的交互和它们的关系邻居之间的时间间隔分布(根据定义3.3，最近的关系交互)。实际上，这种分布是时间进化效应的一个很好的指标。例如，如果(手机，箱子,other)并且很多用户在之前消费手机的一天后购买箱子，当时间间隔为一天时，other的影响可能会有一个峰值。

由于时间间隔通常呈现长尾分布，我们使用对数变换来归一化时间间隔$\Delta t$(以秒为单位):
$$∆t_n=max(0,lo{g}_2(∆t/60))$$
所有时间间隔都以相同的方式标准化。然后，对于数据集中的每个关系r，我们可以遍历每个用户序列中的所有交互，以找到它们的关系邻居，并导出相应的时间间隔分布。

---

KDA的整体结构。

主要有两个模块:(1)项目关系建模学习一个知识图嵌入任务，将项目关系的语义保持在嵌入中；(2)用户意图建模导出了几个特定于关系的历史嵌入，其中我们设计了关系强度和基于傅立叶的时间演化来确定历史交互的动态效果。然后利用自我关注来捕捉不同历史嵌入的相互影响，并导出最终的KDA历史表示，该表示将用于生成排名列表。

---

User Intention Modeling

用户意图建模

KDA模型的基本思想是在给定用户和目标项目的历史序列的情况下，导出历史表示$m_{u,i}\in {\mathbb{R}}^d$，它集成了历史交互的关系和动态效果。然后最终排名得分${\hat{y}}_{u,i}$计算如下:
$${\hat{y}}_{u,i}=(p_u+m_{u,i})q_i^T+b_i$$
$p_u$、$q_i$分别是用户和项目的嵌入，$b_i$是每个项目的偏差项。用户嵌入反映了长期偏好，$m_{u,i}$反映了短期用户意图。

为了更好地理解动态用户意图，设计了一个两级聚合架构:我们首先在不同关系类型的视图下动态聚合交互项目的嵌入，然后继续聚合这些关系特定的历史嵌入$s_{i,\tau }$，以获得最终的KDA历史表示$m_{u,i}$。

Relational Dynamic History Aggregation

关系动态历史聚合

首先，我们关注每种关系类型的关系动态历史聚合(一级聚合)。具体地，对于给定的历史序列$S_u^T$和目标项目$i$，我们为每个关系类型$\tau$导出关系动态历史嵌入$s_{i,\tau }$:
$$s_{i,\tau }=\sum _{(j,t_j)\in S_u^T}INT(i,j,\tau )f_{\tau }(∆t_n)\cdot q_j$$

其中$q_j$是历史项目的嵌入，关注权重由关系强度分数$INT(i，j，\tau )\in [0，1]$和时间衰减$f\tau (\Delta t_n)\in [0，1]$组成。这里，历史项目和目标项目之间的时间间隔$\Delta t=T-t_j$用等式(1)归一化，表示为$\Delta t_n$。关系动态历史嵌入对每种关系类型的历史序列的特定含义进行编码，这将作为获得最终KDA历史表示$m_{u,i}$，

Cross-relation Influence Modeling (Self-attention Layer)

交叉关系影响建模

假设我们已经获得了关系动态历史嵌入$s_{i,\tau }$利用自我注意机制来捕捉关系之间的相互影响(二级聚合)。一般来说，常用的点积注意力可以定义为:
$$Attention=(Q,K,V)=softmax⟮\frac{Q{K}^T}{\sqrt{d}}⟯V$$

KDA模型中自我注意机制的说明:我们利用自我关注来捕捉不同关系之间的相互影响。自我关注总共有K层，我们在每层都采用了丢弃、剩余连接和层规范化

其中Q、K、V分别代表查询、键和值，d为注意空间的隐藏大小。它计算所有值的加权和，其中权重取决于查询和键的内积。比例因子$\sqrt{d}$是为了避免内积值过大。至于自我关注，查询、键和值都来自同一个对象。那么这个对象的新表示就能够吸收其他对象的信息。在我们的例子中，对象引用不同的关系动态历史嵌入$s_{i,\tau }$。我们将所有M种关系类型的$s_{i,\tau }$叠加为$S_i\in {\mathbb{R}}^{M\times d}$:

$$S_i=(s_{i,{\tau }_1}^T;s_{i,{\tau }_2}^T;\dots \dots ;s_{i,{\tau }_M}^T)$$
然后通过线性投影获得查询、键和值 : $Q=S_i{W}^Q,K=S_i{W}^K,V=S_i^{W}V,$

其中投影矩阵$W^Q，W^K，W^V\in {\mathbb{R}}^{d\times d}$ .接下来我们可以得到注意表征:$A_i\in \mathbb{M}\times d$
$$A_i=Attention(Q,K,V)$$

此外，我们可以堆叠几个自我关注层来扩展模型容量。为了赋予每一层非线性，我们应用前馈网络一个ReLU激活函数:
$$FFN(A_i)=ReLU(A_i{W}_1+b_1)W_2+b_2$$
$W_1,W_2\in {\mathbb{R}}^{d\times d}$$b_1,b_2\in {\mathbb{R}}^d$我们在不同的注意力层使用相同的线性变换来实现参数共享

堆叠自关注层可能会导致过度拟合和渐变消失等问题,采用丢失正则化、剩余连接和层归一化技术来解决这些问题:
$$S_i^{k+1}=LayerNorm(S_i^{(k)}+Dropout(FFN(A_i^{(k)})))$$
其中$A_i^{(k)}$由$S_i^{(k)}$得到，$S_i^{(0)}$定义为$S_i^{(0)}=S_i$。我们首先在前馈网络的输出端应用压差。Dropout 提出用概率$p$将前一层的输出随机设置为零，这被证明有利于缓解过拟合问题。然后，通过剩余连接添加最后一层的表示，以将低层特征传播到更高层。最后，层规范化是指具有零均值和单位方差的层的输出。这对稳定和加速神经网络训练是有用的。假设$x$是前一层的输出向量，层归一化定义为:
$$LayerNorm(x)=\alpha \otimes \frac{x-\mu }{\sqrt{{\sigma }^2+ϵ}}+\beta$$
$\otimes$:元素积，$\mu ,\sigma$是$x$的均值和方差，$\alpha$和$\beta$是学习比例因子和偏差项。我们不像$Transformer$那样在$A_i^{(k)}$上应用层规范化，因为这可能会在一开始破坏关系动态历史嵌入的有意义的加权和。实验结果还表明，中间层规范化导致性能稍差。

Pooling Layer.

汇集层

假设自关注层的总数为$K$，我们可以得到最终的关系动态历史嵌入$S_i^{(k)}$，然后我们使用一个池层来导出最终的$KDA$历史嵌入$m_{u,i}\in {\mathbb{R}}^d$是目标感知的历史表示。具体方法可以是(1)平均池，(2)最大池，(3)注意力池。在平均池化的情况下，我们简单地对所有关系类型的嵌入进行平均:
$$m_{u,i}=\frac{1}{M}\sum _{m=1}^M{S}_{i,{\tau }_m}^{(k)}$$
最大池在这些嵌入中应用了元素级最大值:$m_{u,i}=max(s_{i,{\tau }_1}^{(K)};s_{i,{\tau }_2}^{(K)};\dots \dots ;s_{i,{\tau }_M}^{(K)})$

注意力池方法考虑用户可能根据用户的特点对不同的关系类型给予不同的关注:
$$m_{u,i}=softmax([a(u,{\tau }_1),a(u,{\tau }_2),\dots \dots ,a(u,{\tau }_M)])S_i^{(k)}$$
$a(u,\tau )$是用户$u$与关系种类$\tau$间的注意力得分，定义为：
$$a(u,\tau )=h^T(tanh((p_u\otimes x_{\tau })W_3+b_3))$$
线性变换$W_3\in {\mathbb{R}}^{d\times l}，B_3\in {\mathbb{R}}^l$将用户和关系类型嵌入的元素式乘积投影到注意空间中，其中l是注意空间的隐藏大小。$h\in {\mathbb{R}}^l$随后将隐藏向量投影到注意力得分中。我们将在实验中比较使用不同池化方法时的性能，平均池化是我们模型中的默认方法。在这一阶段，我们已经获得了最终的KDA历史表示$m_{u，i}$。然后我们可以根据公式${\hat{y}}_{u,i}=(p_u+m_{u,i})q_i^T+b_i$计算排名分数，${\hat{y}}_{u,i}$并且将用于对候选项目进行排名并生成$Top-K$推荐列表。

---

Relational Dynamic History Aggregation

关系动态历史聚合

这里我们重点讨论如何确定公式$s_{i,\tau }={\sum }_{(j,t_j)\in S_u^T}INT(i,j,\tau )f_{\tau }(∆t_n)\cdot q_j$中的注意力权重(一级聚合)，这是$KDA$的关键创新点。请注意，聚合权重由关系强度分数I$NT(i，j，\tau )$和时间衰减$f_{\tau }(\Delta t_n)$组成。首先计算交互项目与目标项目之间的关联度。另一方面基于傅里叶变换估计时间衰减函数，以控制不同关系效应的时间演化。

Relational Intensity

关系强度

首先，我们讨论了关系强度评分的设计。一般来说，关系数据被组织成$KG$，知识图嵌入是一种流行的从关系数据中学习信号的方法，旨在将知识图嵌入到连续的向量空间中。在知识图嵌入任务中，分数函数$Re{l}_r(i，j)$通常被学习来测量三元组$(i，j，r)$的似然性。与知识图中不存在的损坏三元组相比，$R$中真正的三元组将获得更高的分数。

从另一个角度来看，历史项目j和目标项目I之间的分数$Re{l}_r(j，I)$也可以被视为关系强度的标志。就特定关系类型而言，具有更高关系强度的交互应该在相应的关系动态历史嵌入中发挥更重要的作用。因此，我们在知识图嵌入任务中直接使用相同的得分函数来计算关系强度得分$INT(i，j，\tau )$:
$$INT(i,j,\tau )=\frac{exp(Re{l}_r(j,i))}{{\sum }_{j^{\prime }\in S_u^T}exp(Re{l}_r(j^{\prime },i))}$$
历史项目可以根据它们与目标项目的关系程度进行聚合。我们引入目标项$i$的对应属性作为关系值。然后关系强度测量历史项目是否与目标项目共享相同的属性。而对于没有详细值的关系类型(例如，also_buy)，关系值将是上面中描述的特定值“无”。共享分数函数充当共享嵌入之外的第二个桥梁，这使得我们的$KDA$模型能够充分利用在$KG$中学习的知识。关系强度的另一个优点是它可以处理知识图中缺失的关系。

Fourier-based Temporal Evolution

假设每种关系类型$\tau$的时间演化可以由一个潜在的和连续的时间衰减函数$f_{\tau }(\Delta t_n)$来培育。时间衰减函数控制关系效果如何随着时间间隔的增加而漂移，这决定了等式(3)中的注意力权重和关系强度。一个直观的解决方案是用预定义的函数形式来估计特定于关系的函数。这里的主要问题是假设时间衰减函数在时域中是连续的，这不能在神经网络中直接优化。如果一个连续函数可以被编码成一个固定大小的向量，那么该模型可以在没有任何先验知识的情况下从数据中学习时间演化。受DFT的启发，我们的关键见解是将$f_{\tau }(\Delta t_n)$变换到频域$F_{\tau }[w]$:
$$f_{\tau }(\Delta t_n)\leftrightarrow F_{\tau }[w]$$
给定$DFTN$的点，$DFT$可以将连续函数$f(t)$的有限等间隔样本序列转换为等长序列，该序列是$N$个等间隔频率的复值函数$F[w]$:
$$w_k=\frac{2\pi }{N}k,k=0,1\dots \dots ,N-1$$
$F[w_k]$包含f (t)中频率为wk的正弦波的振幅和相位信息。这样，时域中的连续函数可以表示为频域中的离散函数。这相当于将时域函数编码为复值嵌入，我们称之为频率嵌入。给定频率嵌入，我们可以通过$IDFT$得到任何输入$t$的$f(t)$值。接下来，我们描述关于为每个时间衰减函数$f_{\tau }(\Delta t_n)$参数化频域表示$F_{\tau }[w]$的细节。在我们的$KDA$模型中，我们给每个关系类型$\tau$一个频率嵌入$F_{\tau }\in {\mathbb{C}}^N$频域表示，它可以被随机初始化，并将通过损失函数和其他参数一起被优化。对于任何时间间隔$\Delta t_n$,通过对$F_{\tau }$应用$IDFT$得到$f_{\tau }(\Delta t_n)$:
$$f_{\tau }(\Delta t_n)=\frac{1}{N}\sum _{k=0}^{N-1}{F}_{\tau }[w_k]e^{j{w}_k\Delta t_n}$$
为了便于快速傅里叶变换的优势，我们保证$N$是$2$的整数次幂。此外，由于时间衰减函数值是实数，我们只保留半正频率(即$F_{\tau }$的前$N/2个$元素)。当转换回时域时，我们计算这些频率的复共轭$F_{\tau }[w_k]$，并在最后填充它们。这确保了$IDFT$也能产生真正的价值。即将上式变为：
$$f_{\tau }(\Delta t_n)=\frac{1}{N}\sum _{k=0}^{N/2-1}(F_{\tau })[w_k]e^{j{w}_k\Delta t_n}+\overline{F_{\tau }[w_k]}{e}^{-j{w}_k\Delta t_n}$$
对每个关系类型的时间间隔分布应用$DFT$，以在开始时初始化$F_{\tau }$。假设相互作用和它们的关系邻居之间的时间间隔分布，关系类型$\tau$是$F_{\tau }[x]$，其中$x$是时间间隔槽的索引，$F_{\tau }[x]$是数据中相应的案例数。我们将归一化时间间隔$\Delta t_n$离散为时隙，如下所示:
$$x=[\Delta t_n]=[max(0,lo{g}_2(\Delta t/60))]$$

槽的总数表示为$X$​，那么给定$DFTN\ge X$​​的点，我们可以将$DFT$应用于$F_{\tau }[x]$的周期延拓$(即F_{\tau }[x+X]=F_{\tau }[x])$:
$$F_{\tau }[w_k]=\sum _{n=0}^{N-1}{F}_{\tau }[n]e^{-j{w}_{k}n}$$
上述DFT结果将用于在训练前初始化$F_{\tau }$。我们将时间间隔分布Fτ[x]的最大值归一化为1，这确保了$IDFT$的输出在相同的尺度上。

基于离散傅立叶变换的估计方法可以被看作是一种将潜在的和连续的时间函数编码到频域嵌入中的通用方法.对用户特定的时间演化感知进行建模,可以定义一个用户特定的嵌入函数：
$$f_{r,u}(\Delta t_n)=\frac{1}{N}\sum (F_{\tau }[w_k]+F_u[w_k])e^{j{w}_k\Delta t_n}$$
Item Relation Modeling

项目关系建模

我们学习了一个知识图嵌入任务，将语义保留到项目嵌入中。主要目标是定义评分函数$Re{l}_r(i，j)$来衡量三元组$(I，j，r)$的合理性。使用关系的两级层次成分的总和作为其嵌入，得到关系$r=<\tau ，v>$的表达式为: $r=x_{\tau }+z_v$

以这种方式，具有相同类型的关系保持相似的表示，并且值嵌入使得模型保真度能够处理相同关系类型具有不同值的情况。在$DistMult$的情况下，它捕获项目对之间特定于关系的交互。得分函数定义为:
$$Re{l}_r(i,j)=q_i^{T}diag(r)q_j$$
中$diag(r)$表示主对角元素等于$r$的对角矩阵，为了学习项目关系图中的语义，我们希望对观察到的三元组最大化$Relr(i，j)$，对未观察到的三元组最小化$Relr(I，j)$。基于此，成对损耗得到优化:

$$L_{rel}=-\sum _{(i,j,r)\in R}log\sigma (Re{l}_r(i,j)-Re{l}_r(i^{-},j^{-}))$$
Multi-task Learning

多任务学习

对于推荐任务，我们优化成对排序损失
$$L_{rec}=-\sum _{u\in U}\sum _{i=2}^{N_u}log\sigma ({\hat{y}}_{u,i}-{\hat{y}}_{u,i^{-}})$$

伪代码如下：

其中$\sigma$表示sigmoid函数，我们随机采样一个负项$i$。对于每个训练实例。指数$i$从2开始，因为顺序推荐应该至少有一个历史交互。然后将联合目标函数定义为:
$$mi{n}_{\Theta }L=L_{rec}+\gamma L_{rel}+\lambda ||\Theta |{|}_2$$
其中$\Theta$为参数空间，$\gamma$为知识图嵌入任务的系数$，\lambda$为正则化系数。

我们提出的KDA模型在所有数据集上都比最佳基线方法有很大改进。背后的原理在于三个部分:(1)我们使用关系强度评分来柔和地聚合历史交互，而不是像RCF那样直接划分序列。(2)设计了一种基于傅里叶的方法，将时间演化效应自适应地融入到模型训练中，不仅有效，而且灵活。(3)利用自我注意机制进一步探索关系之间的相互影响。此外，请注意，不同池化方法在不同数据集上的性能不同，最佳选择也不一致。平均池方法通常会得到有希望的结果，但是最大池在MovieLens-100k中非常强大。注意力集中比RecSys2017中的其他方法好一点，但在其他两个数据集上表现更差(仍然比基线方法好)。因此，具体的方法需要根据数据集来确定，这可能依赖于数据规模和关系的数量。根据我们的经验，平均池和最大池通常是稳定的，因此我们在下面的实验中默认使用平均池。