JODIE: Predicting Dynamic Embedding Trajectory in Temporal Interaction Networks论文笔记

原文链接: JODIE.

摘要

JODIE使用两个递归神经网络在每次交互时更新用户(user)和项目(item)的嵌入。至关重要的是，JODIE还可以模拟用户/项目的未来嵌入轨迹（embedding trajectory）。为此，它引入了一种新颖的投影算子，该算子可以在将来的任何时候学习估计用户的嵌入程度。这些估计的嵌入然后用于预测未来的用户-项目交互。

介绍

挑战

1. 仅仅在交互时更新节点信息，如果没有交互则节点不会更新。
2. 节点是有固定属性的，固定属性不会随着时间的推移而变化。
3. 通过用户为所有项目打分来预测交互在时间复杂度的角度上是不切实际的。
4. 现有方法通过线性训练模型，时间复杂度高。

贡献

1. user和item都有两个embedding：static embedding以及dynamic embedding。
2. JODIE模型包括两种组件：update operation以及projection operation。前者用于更新用户和项目的embedding信息，后者用于预测未来的embedding轨迹。
3. t-Batch，作者创建了一个称为t-Batch的批处理算法，通过创建独立交互的训练批来训练JODIE，以便可以在并行处理中处理每个批中的交互。
   

问题定义

JODIE用于学习user以及item的embedding trajectories。
定义user-item之间的交互$S_r=(u_r,i_r,t_r,f_r)$，表示在user $u_r\in \mathcal{U}$和item $i_r\in \mathcal{I}$在时间$t_r\in {\mathbb{R}}^{+}$发生的事件，其中$f_r$表示交互事件的特征。

下表为文中常用符号：

符号	意义
$u(t)$和$i(t)$	用户$u$以及项目$i$在时间$t$的dynamic embedding
$u(t^{-})$和$i(t^{-})$	用户$u$以及项目$i$在时间$t$之前的dynamic embedding
$\bar{u}$和$\bar{i}$	用户$u$以及项目$i$在时间$t$的static embedding
$\hat{u}(t)$	用户$u$在时间$t$的projected embedding
$\tilde{j}(t)$	预测项目$j$的embedding

方法

Embedding update operation

在update operation操作中，用户$u$和项目$i$之间的交互$S=(u,i,t,f)$用于生成用户$u(t)$项目和$i(t)$在时间$t$时刻的dynamic embedding。

${\text{RNN}}_U$用于通过所有用户信息更新user embedding。
$$u(t)=\sigma (W_1^{u}u(t^{-})+W_2^{u}i(t^{-})+W_3^{u}f+W_4^u{\Delta }_u)$$${\text{RNN}}_I$用于通过所有项目信息更新item embedding。
$$i(t)=\sigma (W_1^{i}i(t^{-})+W_2^{i}u(t^{-})+W_3^{i}f+W_4^i{\Delta }_i)$$其中${\Delta }_u$表示$u$上一次与其他$i$交互的时间，${\Delta }_i$表示$i$上一次与其他$u$交互的时间，$f$为交互特征向量，$W$为学习矩阵，$\sigma$为sigmoid函数。

Embedding projection operation

用于生成用户未来的 embedding trajectory，该embedding可用于下游任务。

projection operation的两个输入为：

1. 用户$u$在时间$t$的embedding $u(t)$
2. 以及经过的时间$\Delta$

对于$\Delta$而言，通过一个全连接层生成一个向量$w\in {\mathbb{R}}^n$。$$\hat{u}(t+\Delta )=(1+w)\ast u(t)$$随着$\Delta$的增大，projection embedding的偏移量越大。

如何训练

如果

1. 用户$u$与项目$i$在时间$t$发生交互；
2. 用户$u$与项目$j$在时间$t+\Delta$发生交互。

那么，在$t+\Delta$之前是否可以预测用户$u$与哪一个项目交互？

我们训练JODIE模型，使用$u$的projected embedding $\hat{u}(t+\Delta )$，另一个设计的关键是，JODIE直接输出项目embedding $\tilde{j}(t+\Delta )$，而非$u$与$j$之间的概率，以减少时间复杂度。

我们通过最小化$L_2$指数进行训练：$$||\tilde{j}(t+\Delta )-[\bar{j},j(t+{\Delta }^{-})]|{|}_2$$ 其中$\tilde{j}(t+\Delta )$为预测的item embedding，$[\bar{j},j(t+{\Delta }^{-})]$为真实的item embedding（动态+静态embedding），$[x,y]$表示concat操作。

预测的item embedding $\tilde{j}(t+\Delta )$通过全连接层得到：
$$\tilde{j}(t+\Delta )=W_1\hat{u}(t+\Delta )+W_2\bar{u}+W_{3}i(t+{\Delta }^{-})+W_4\bar{i}+B$$其中$\hat{u}(t+\Delta )$为user的projected embedding，$i(t+{\Delta }^{-})$为上一个和$u$交互的item $i$。

模型训练

Loss函数如下：
$$Loss=\sum _{u,j,t,f\in S}||\tilde{j}(t)-[\bar{j},j(t^{-})]|{|}_2+{\lambda }_U||u(t)-u(t^{-})|{|}_2+{\lambda }_I||j(t)-j(t^{-})|{|}_2$$

t-Batch

(留个坑)

实验

实验1：Future interaction prediction

预测$t$时刻，预测user $u$与哪一个item $i$交互。

实验2：User state change prediction

其任务是预测一个交互是否会导致用户的状态变化。

实验3：Runtime experiment

运行时间比较

实验4：Robustness to the proportion of training data

通过改变训练数据的百分比和比较模型的性能来验证模具的鲁棒性

实验5：Embedding size

我们验证了embedding大小对结果的影响。