【论文笔记】ICDM2019 Session-based Recommendation with Local Invariance

PROBLEM

现有方法编码之前行为的方式要么严格遵照顺序，要么完全忽略顺序，然而有时在一个短子序列中行为的顺序是不重要的，即所谓的local invariance，而高阶的顺序信息仍是有用的，因为数据自然上呈现序列性，一个好的SBR应当注意到不同粒度级别的序列信息.

SOLUTION

使用具备高斯权重的全自注意层提取子序列的特征，采用CNN捕捉高阶序列信息.

APPROACH

Overview

采取encoder-predictor结构.
local encoder以item embedding为输入生成短子序列中位置变化无关的group序列表示，global encoder从group序列表示中提取session表示.

Local Encoder

理想化而言，每个group $g$由一个将group内item embeddings加权求和得到的group embedding表示：
$${\text{x}}_g^{\prime }=\sum _{v\in G}{w}_{g,v}\text{v}\text{\hspace{1em}(1)}$$
然而，由于group数量不可知，理想化的目标是不可实现的，而且groups可能存在hard borders，因此采取为每一初始item提取group embedding，第$i$个item相应的group embedding定义如下：
$${\text{x}}_i^{\prime }=\sum _{1\le j\le t}{w}_{ij}{\text{x}}_j\text{\hspace{1em}(2)}$$
具体而言，groups有相似的邻接items组成，这意味着与item $i$更为相似的items具备更大的$w_{ij}$：
$$\begin{gathered} w_{ij}\propto {\alpha }_{ij}^{(l)}\cdot f_i(|i-j|) \\ \sum _j{w}_{ij}=1\text{\hspace{1em}(3,4)} \end{gathered}$$
${\alpha }_{ij}^{(l)}$是利用注意力机制得到的${\text{x}}_j$的重要性得分，可视为某种程度上的相似度：
$$\begin{array}{rl}{e}_{ij}^{(l)}& ={\text{v}}_l^T\tanh ({\text{W}}_l[{\text{x}}_i,{\text{x}}_j])\\ {\alpha }_{ij}^{(l)}& =\frac{\exp (e_{ij}^{(l)})}{{\sum }_k\exp (e_{ik}^{(l)})}\end{array}\text{\hspace{1em}(5,6)}$$
注意公式$(5,6)$的$l$表示$local$，$f(\cdot )$是均值为$0$、方差为${\sigma }_i^2$的高斯分布的可能性密集度函数.

邻接items与${\text{x}}_i$越相似，group size越大，分配给邻接items的权重越大，方差越大，换言之，方差与${\text{x}}_i$和其邻接items间评价相似度正相关，因此方差有如下定义：
$${\sigma }_i^2=k\cdot \frac{1}{2m}\sum _{l,0<|i-l|\le m}\text{sim}({\text{x}}_i,{\text{x}}_l)\text{\hspace{1em}(7)}$$
其中$k$为参数，$\text{sim}(\cdot ,\cdot )$是相似度方法，普遍采取cosine similarity，$m$为上下文的大小，为防止包含不在当前group的items，实验中$m$取$1\sim 3$.
观察公式$(3)$，$f_i(|i-j|)$的加入使得${\text{x}}_i^{\prime }$集中于局部区域.

Global Encoder

global encoder将group features $[{\text{x}}_1^{\prime },{\text{x}}_2^{\prime },\cdots ,{\text{x}}_t^{\prime }]$编码成session embedding，这里采用RNN生成session表示，RNN的输出状态为$[{\text{h}}_1,{\text{h}}_2,\cdots ,{\text{h}}_t]$，${\text{h}}_i$可视为前$i$个groups的表示，由此session表示为：
$${\text{c}}_h=\sum _i{\alpha }^{(g)}{\text{h}}_i\text{\hspace{1em}(8)}$$
其中${\alpha }^{(g)}$使用注意力机制计算：
$$\begin{array}{rl}{e}_i^{(g)}& ={\text{v}}_g^T\tanh ({\text{W}}_g[{\text{h}}_i,{\text{h}}_t])\\ {\alpha }_i^{(g)}& =\frac{\exp (e_i^{(g)})}{{\sum }_k\exp (e_k^{(g)})}\end{array}\text{\hspace{1em}(9,10)}$$
注意公式$(9,10)$的$g$表示$global$.

通过$local$和$global$编码器的联合，session表示${\text{c}}_h$包含了整个session的广泛序列信息，且不受子序列中不重要的局部位置变换影响.

Predictor

考虑到用户当前兴趣用最后一个交互item表示，即${\text{m}}_t={\text{x}}_t$，当前session混合表示$\text{c}$由${\text{c}}_h$和${\text{m}}_t$组成，则候选item $v_i\in V$的得分：
$${\text{z}}_i={\text{v}}_i^{T}g(\text{c})\text{\hspace{1em}(11)}$$
$g$是将$\text{c}$转换成与${\text{v}}_i$相同纬度的神经网络.
归一化得分：
$$\hat{\text{y}}=\text{softmax}(\text{z})\text{\hspace{1em}(12)}$$
使用交叉熵作为优化目标：
$$\mathcal{L}(\text{y},\hat{\text{y}})=\sum _i{\text{y}}_i\log \widehat{{\text{y}}_i}\text{\hspace{1em}(13)}$$

EXPERIMENT

Comparison with Existing Methods

Ablation Experiments

Capability of Considering Local Invariance

这一部分定义了衡量两个item间相似性的公式，依据threshold $\theta$进行研究，具体见paper，这里从略.