论文阅读 Predicting Dynamic Embedding Trajectory in Temporal Interaction Networks

🚀 优质资源分享 🚀

学习路线指引（点击解锁）	知识定位	人群定位
🧡 Python实战微信订餐小程序 🧡	进阶级	本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
💛Python量化交易实战💛	入门级	手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

6 Predicting Dynamic Embedding Trajectory in Temporal Interaction Networks

link:https://arxiv.org/abs/1908.01207

Abstract

本文提出了一种在嵌入空间中显示建模用户/项目的未来轨迹的模型JODIE。该模型基于RNN模型，用于学习用户和项目的嵌入轨迹。JODIE可以进行未来轨迹的预测。本文还提出了 t-Batch算法，利用该方法可以创建时间相同的batch，并使训练速度提高9倍。

Conclusion

在本文中，提出了一个称为JODIE的rnn模型，该模型从一系列时间交互中学习用户和项目的动态嵌入。JODIE学习预测用户和项目的未来嵌入，这使得它能够更好地预测未来用户项目交互和用户状态的变化。还提出了一种训练数据批处理方法，使JODIE比类似基线快一个数量级

未来的工作有几个方向。学习单个用户和项目的嵌入是昂贵的，可以学习用户或项目组的轨迹，以减少参数的数量。另一个方向是描述相似实体的轨迹。最后，一个创新的方向是根据许多用户可能与之交互的缺失预测项目设计新项目。

Figure and table

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RJwASWDi-1653325856946)(https://luoyoucodeimg.oss-cn-hangzhou.aliyuncs.com/image-20220518165747185.png)]

图1 左边是一个时序交互网络（二部图），包含三个用户和四个物品。连线表示在时间t和特征向量f下的交互。右边是用户和物品的嵌入轨迹图，通过训练一个嵌入预测操作（可训练参数矩阵）预测用户的特征轨迹。图中虚线就是用户的估计预测。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zXWXgSfF-1653325856950)(https://luoyoucodeimg.oss-cn-hangzhou.aliyuncs.com/image-20220518171523083.png)]

表1 对比了已存在的各种算法和JODIE的用途，JODIE全部满足（自己论文肯定全部满足啊。。。）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dhdKohm8-1653325856951)(https://luoyoucodeimg.oss-cn-hangzhou.aliyuncs.com/image-20220518194731188.png)]

图2 JODIE模型：JODIE在一次交互(u,i,t,f)(u,i,t,f)(u,i,t,f)后，通过RNNURNNURNN_U和RNNIRNNIRNN_I两个模块更新uuu和iii的动态嵌入，接着预测操作去预测t+Δt+∆t+∆时间的用户嵌入

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fL8ocpQF-1653325856952)(https://luoyoucodeimg.oss-cn-hangzhou.aliyuncs.com/image-20220518203728664.png)]

表2 符号的含义

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xbtKTFMx-1653325856953)(https://luoyoucodeimg.oss-cn-hangzhou.aliyuncs.com/image-20220518203757197.png)]

图3 展示了预测操作。这里预测了用户在三个间隔时间的嵌入位置，其中Δ1<Δ2<Δ∆1<∆2<∆∆_1 < ∆_2 < ∆。随着时间的推移，预测的嵌入会漂移得更远。当观察到下一次交互时，嵌入将再次更新。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TcBqePag-1653325856954)(https://luoyoucodeimg.oss-cn-hangzhou.aliyuncs.com/image-20220518204611971.png)]

表3 交互预测实验：这张表展示了各类算法在不同的数据集上表现，用MRR和recall作为指标

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-t4PN4C55-1653325856956)(https://luoyoucodeimg.oss-cn-hangzhou.aliyuncs.com/image-20220519104929588.png)]

表4 用户状态更改预测：用auc做指标

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-prxl3fRM-1653325856957)(https://luoyoucodeimg.oss-cn-hangzhou.aliyuncs.com/image-20220519105305016.png)]

图4 运行时间对比

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-82RhRPuy-1653325856958)(https://luoyoucodeimg.oss-cn-hangzhou.aliyuncs.com/image-20220519105858297.png)]

图5 鲁棒性对比

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JLqAVNuD-1653325856959)(https://luoyoucodeimg.oss-cn-hangzhou.aliyuncs.com/image-20220519110155252.png)]

图6 动态嵌入尺寸的鲁棒性对比

Introduction

本文提出了一个工业场景中实际的四个问题

先前的方法都是等到用户有交互才会去更新他的嵌入。比如一个今天购买的用户，其嵌入已更新。如果在第二天、一周后甚至一个月后返回平台，嵌入将保持不变。因此，