Intention-Aware Sequential Recommendation With Structured Intent Transition

---

前言

推荐算法
Intention-Aware Sequential Recommendation With Structured Intent Transition
会议论文：IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING

---

一、文献模型创新点

1. 利用用户历史消费行为背后的用户意图来提高序列推荐的有效性和可解释性
2. 提出意图感知序列推荐模型(ISRec)，)能够识别用户意图，并识别结构化的用户意图转换过程，为顺序推荐提供更透明和可解释的中间结果
3. 在目前主流的推荐算法公开数据集Beauty，Steam，Epinions，ML-1m，ML-20m进行模型实验，对比目前最先进的模型GRU4Rec，Caser， SASRec ，BERT4Rec 等，利用评估指标HR，NDCG，MMR进行对比，模型性能都得到了显著提高

二、解决现有推荐模型的问题

现有序列推荐工作很难发现激发消费行为的用户意图，缺乏向用户解释特定商品被推荐给用户的原因的能力。发现和建模用户意图对序列推荐提出了巨大的挑战，因为用户意图很少被完全观察到，也不总是在一段时间内保持静态和固定。此外，用户可能有多个相互关联的意图，一个用户意图的改变可能导致其他意图的改变，使得动态捕获用户意图变得更加困难。

---

三 模型介绍

• Notations Used in This Paper
  
  set of users： U = { u 1 , u 2 , … , u ∣ U ∣ } \mathcal{U}=\{u_1,u_2,\ldots,u_{|\mathcal{U}|}\} U={u1​,u2​,…,u∣U∣​}
  set of items: V = { v 1 , v 2 , … , v ∣ V ∣ } \mathcal{V}=\{v_1,v_2,\ldots,v_{|\mathcal{V}|}\} V={v1​,v2​,…,v∣V∣​}
  the interaction sequence sorted in the chronological order:$${\mathcal{S}}_u=\left[v_1^{(u)},v_2^{(u)},\dots ,v_{|{\mathcal{S}}_u|}^{(u)}\right]$$
  relations between items and concepts:$$E=[e_{i,k},1\le i\le |\mathcal{V}|,1\le k\le K]$$
  $$\begin{array}{l}\text{if concept }k\text{ appears in the description information of item }i,\\ e_{ik}=0\text{ otherwise. and }K\text{ is the number of concepts. }\end{array}$$
  the user intention：a subset of all possible K concepts m t = [ m t , 1 , m t , 2 , … , m t , K ] ∈ { 0 , 1 } K m_t=[m_{t,1},m_{t,2},\ldots,m_{t,K}]\in\{0,1\}^K mt​=[mt,1​,mt,2​,…,mt,K​]∈{0,1}K
  Given all this information, the sequential recommendation problem can be formalized as to predict the probability over all items for every user $u\in \mathcal{U}$ at time index $t=|S_u|+1:$
  $$p(v_{|{\mathcal{S}}_u|+1}^{(u)}|{\mathcal{S}}_u).$$
  对于每一个时刻 t 此用户意图使用K个概念的子集来描述，即 t 时刻此用户交互的item包含K个概念的哪些概念，并且使用概念图来表示概念之间的关系，Intention transition则基于t时刻的概念图将用户此时的意图转移到下一个t+1时刻
• Model Framework
  
  1 Transformer-based Encoder
  Item sequence embedding $${\mathbb{R}}^{|\mathcal{V}|\times d}$$
  Position embedding$$P=[{\mathbf{p}}_1,\dots ,{\mathbf{p}}_T]\in {\mathbb{R}}^{T\times d}$$
  Conception embedding $$C=[c_1,\dots ,c_K]\in {\mathbb{R}}^{K\times d}$$
  The representation of an element in the behavior sequence
  $$h_i=v_i+p_i+\sum _{e_{i,j}=1}{c}_j,$$$$\text{user behavior sequence }{\mathcal{S}}_u$$$$H^0=[h_1^0,h_2^0,\dots ,h_T^0].$$$$\begin{array}{rl}{S}^l& =\text{S}A(H^l)=\text{Attention}(H^l{W}_Q^l,H^l{W}_K^l,H^l{W}_V^l),\\ & \\ H^{l+1}& =\text{FFN}(S^l)=\text{ReLU}(S^l{W}_1^l+b_1^l)W_2^l+b_2^l,\end{array}$$ 经过自注意力机制模块得到$X=[x_1,\dots ,x_T]=H^L$ $x_t$已经融合了所有在时间 t 时刻之前的序列信息
  2 Intent Extraction
  利用每一个概念嵌入向量$c_i$计算与序列表达式$x_t$之间的相似度并作为激活此概念的概率，具体$s_{t,k}$计算公式如下，即利用cosine similarity ：$$s_{t,k}=\frac{{\mathbf{x}}_t\cdot {\mathbf{c}}_k}{\Vert {\mathbf{x}}_t{\Vert }_2\Vert {\mathbf{c}}_k{\Vert }_2},$$最终得到意图向量$$m_t\sim \text{Categorical}(\text{Softmax}(s_{t,1},s_{t,2},\dots ,s_{t,K}))$$
  3 Structured Intent Transition
  为了解决由于$m_t$是通过同样的概念嵌入学习得来的，假设两个不同的用户拥有相同的意图，但是下一个时刻并不一定具有相同的转换模式，并且$m_t$是对于每一个意图是单个数字并且是离散的，为解决用户个性化推荐问题和优化问题，首先为一个用户学一个意图特征矩阵$$Z_t=[z_{t,1},\dots ,z_{t,K}]\in {\mathbb{R}}^{K\times d^{\prime }}$$，其中$z_{t,k}$通过单独的MLP来获得$$z_{t,k}=m_{t,k}{\text{MLP}}_k(x_t)$$具体的转移过程是将得到的$Z_t$转换成一个概念图，通过GCN消息传递机制得到下一个时刻t+1的概念图$Z_{t+1}$，即$$Z_{t+1}=\mathcal{F}(Z_t,\mathbf{A}),$$$$H_{\mathcal{G}}^{l+1}=\sigma ({\hat{D}}^{-\frac{1}{2}}\hat{A}{\hat{D}}^{-\frac{1}{2}}{H}_{\mathcal{G}}^l{W}^l),$$而$m_{t+1}$则通过$Z_{t+1}$的范数得到，即计算哪些概念被激活了 ∥ z t + 1 , k ∥ 2 ≥ g ( { ∥ z t + 1 , k ∥ 2 , 1 ≤ k ≤ K } ) , \left\|z_{t+1,k}\right\|_{2}\geq g(\{\left\|z_{t+1,k}\right\|_{2},1\leq k\leq K\}), ∥zt+1,k​∥2​≥g({∥zt+1,k​∥2​,1≤k≤K}),并确保与上一个时刻激活的概念数目相同$$\sum _k{m}_{t,k}=\sum _k{m}_{t+1,k}.$$
  4 Intent Decoder
  获得了未来意图特征$Z_{t+1}$和未来意图向量$m_{t+1}$，对其进行解码操作：$$x_{t+1}=\sum _{k=1}^K{m}_{t+1,k}\text{M}L{P}_k^{\prime }(z_{t+1,k}).$$最终计算$x_{t+1}$与item embedding的相似度来计算推荐概率$$p(v_{t+1}|[v_1,v_2,\dots ,v_t])=\text{Softmax}(x_{t+1}{V}^T).$$

---

四 实验

• 数据集：Amazon Steam Epinions MovieLens
• 实验设计
  1 Evaluation Settings
  2 Metrics
  Hit Rate $$HR@k=\frac{1}{|\mathcal{U}|}\sum _{u\in \mathcal{U}}\delta (|{\mathcal{T}}_u\cap {\mathcal{R}}_{u,k}|>0),$$
  Normalized Discounted Cumulative Gain$$\begin{array}{rl}NDCG@k& =\frac{1}{Z}DCG@k\\ & =\frac{1}{Z}\frac{1}{|\mathcal{U}|}\sum _{u\in \mathcal{U}}\sum _{i=1}^k\frac{\delta (r_{u,i}\in {\mathcal{T}}_u)}{lo{g}_2(i+1)},\end{array}$$
  Mean Reciprocal Rank$$\mathrm{MRR}=\frac{1}{|\mathcal{U}|}\sum _{u\in \mathcal{U}}\frac{1}{ran{k}_u},$$
  3 Baselines
  PopRec,BPR-MF,NCF,FPMC,GRU4Rec,GRU4Rec+,DGCF,Caser,SASRec,BERT4Rec
• Recommendation Accuracy
• Showcases of Intent Extraction and Structured Intent Transition
  
• Effectiveness of Intent Extraction and Structured Intent Transition
  
• Sensitivities of Hyperparameters
  
  

总结

本文研究了具有结构化意图转换的意图感知序列推荐问题。我们提出了一种意图感知的序列推荐(ISRec)方法，该方法能够发现用户行为历史背后的用户意图，并对结构化的用户意图转换模式进行建模。本文提出的ISRec模型可以做出准确的序列推荐，每个推荐的中间结果更加透明和可解释性。在各种数据集上进行的大量实验表明，与其他最先进的基线模型进行对比，ISRec的有效性和案例研究表明，可以准确地识别动态用户意图。