论文阅读：Predicting Dynamic Embedding Trajectory inTemporal Interaction Networks（JODIE模型）

最近阅读了Jure组的工作，是关于时序交互图的JODIE模型，所思所想写在这篇文章中，如果有愿意讨论的伙伴可以评论或者私聊我指出我的问题。

---

Abstract

作者在摘要部分提出处理有顺序的交互是一个十分重要的话题，这应用于包括电商，社交网络，教育等多个领域。其中最重要的一点就是representation learning（表示学习）——将user和item的信息都能够用欧氏空间中的向量来表示。

但是，作者指出，现阶段的论文都存在一些问题，包括有仅当user与item发生交互时才去修改其embedding，或者是未能显式地将预测的future向量展示出来（这点在后面也有所说明）。

对此，作者提出了一个JODIE模型，一个双RNN网络来学习user和item的时序向量变化，并且这个模型比之前的几个模型都更为出色，并用两个典型任务类型来解释，分别是未来交互预测和状态改变预测。作者还提出了t-Batch算法来避免一次性将整个时序序列丢入模型。

---

Introduction

作者使用一张Figure来展示user-item的交互图，每一个interaction都有自己的时间timestamp以及所独有的特征feature向量，特征例如“对item进行了评论”、“对item进行了支付”等等。

另外，作者列出了现有的表征学习中存在的问题

First，大部分存在的方法仅当用户发生交互行为才对向量进行改变，才改变它的embedding。这有很大的弊端，因为他忽略了时间因素。例如1个月之后的第二次交互或是1年之后的第二次交互其实本质上是不一样的，但传统方法让embedding不改变。

Second，每一个实体包括静态表征（不随时间变化）以及动态表征。更多早前的方法都只考虑了其中一个特征。

Third，更多地先前方法预测交互时，使用了每一个user交互过的所有item，这将造成线性地时间复杂度，是不高效的。

Fourth，更多模型在训练时就是将整个时序交互队列丢入模型中进行学习，这对于庞大的数据集而言，将是一种挑战，这也是后面提出t-batch的原因。

作者将JODIE分为两个部分：update operation和projection operation

其中update operation是拥有两个RNN的，用来生成user和item在每一次交互后的表征。

projection operation是在两次交互之间来预测随时间推移，造成的item和user的embedding变化。

在Introduction中，作者团队列出了所有自己的创新点

1、Embedding algorithm        2、Batching algorithm        3、Effectiveness

---

然后，作者就针对于模型及其中两个组件分别做了介绍。

JODIE：Joint Dynamic User-item Embedding Model

 作者给出了在本文中每一个交互S的四元组架构，其中包括user(u)，i(item)，t(timestamp)，f(feature)。

对于user和item的embedding表示，作者将其分为static特征和dynamic特征，是d维和n维的。其中静态表征是不随时间改变的，所以作者采用了one-hot向量来进行赋值。另外，在动态表征中，作者给出了trajectory的定义，是任何user/item的动态表征序列。

---

Embedding update operation

这张图片的上半部分作者给出了JODIE模型中的update operation，顾名思义，就是在发生交互时需要对user和item的embedding进行改变。

 两个RNN是互相循环的。当一个interaction发生时，需要考虑前一秒的item embedding以及前一秒的user embedding，而这个前一秒的embedding同时会影响u(t)和i(t)，所以RNN的更新公式如下：（其中▲u和▲i分别指距离上一次交互发生的时间）

 作者也采用过RNN的更多变种类似于LSTM等，但发现效率反而下降，于是采用了最朴素的RNN。在这里，作者提出，传统方法往往将item的embedding作为one-hot向量来更新user的embedding值，这会有两个弊端：1、忽略了item自身的特征，仅仅包含了item的编号信息 2、当item的数量过于庞大时，one-hot的维度也会变得巨大。所以在这里的更新公式中，也采用item的动态特征作为一个输入。

---

Embedding projection operation

……未完待续，继续更新