Controllable Multi-Interest Framework for Recommendation

Controllable Multi-Interest Framework for Recommendation

introduction&related work

推荐不仅只要精度，更要实现推荐多样化。

related work里介绍了如下主题，提到了很多经典模型（有兴趣可以看看原文）：

• Neural Recommender Systems

• Sequential Recommendation

• Recommendation Diversity.

• Attention

• Capsule Network

模型架构

方法METHODOLOGY

表一是符号(notation)

---

这部分重要的是用户多兴趣向量生成

Multi-Interest Framework

---

两种方法，一种使用动态路由的方法，一种使用self attention

Dynamic Routing：
我们要计算兴趣胶囊$v_j$，首先初始化$b_{ij}$以此来得到$c_{ij}$，这里使用0来初始化 $b_{ij}$ ：
$$c_{ij}=\frac{exp(b_{ij})}{{\sum }_{K}exp(b_{ik})}\text{\hspace{1em}(3)}$$
再计算根据用户项目交互$e_i$计算出high-level-vector “${\hat{e}}_{j|i}$”，以此来得到$s_{ij}$：
$$s_j=\sum _i{c}_{ij}{\hat{e}}_{j|i}\text{\hspace{1em}(2)}$$
$${\hat{e}}_{j|i}=W_{ij}{e}_{ij}\text{\hspace{1em}(1)}$$
其中每个$W_{ij}$对每个兴趣胶囊是不一样的，最终我们可以计算出用户兴趣胶囊$v_j$：
$$v_j=squash(s_{ij})=\frac{{||s_j||}^2}{1+||s_j|{|}^2}\frac{s_j}{s_{i}j}\text{\hspace{1em}(4)}$$
$V_u=[v_1,......v_K]\in R^{d\ast K}$

使用动态路由更新$b_{ij}$

Self-attentive Method：
这里很自然引入self-attention计算用户兴趣胶囊：
$$a=softmax(w_2^{\top }tanh(w_{1}H))\text{\hspace{1em}(1)}$$
然后将$w_2$ into a $d_a$-by-$K$ :$W_2$
$$A=softmax(W_2^{\top }tanh(w_{1}H))\text{\hspace{1em}(2)}$$

---

training时,求得用户对item的好感度
$$v_u=V_u[:,argmax(V_u^{\top }{e}_i)]$$

loss

Aggregation Module

---

But how to aggregate theseitems from different interests to obtain the overall top-N items?
A basic and straightforward way is to merge and filter the items basedon their inner production proximity with user interests, which canbe formalized as：

这里说如何针对不同的用户兴趣，最终选出top_K个item：

本来为了精确度：

但是前面提到用户的体验更要是多样化的

与现有模型的联系

• 不同于rank阶段的MIMN包含大量复杂计算的循环神经网络，本文模型更简单。
• 对于MIND，本文模型更能平衡用户体验（即多样性）

实验

指标有recall，HR，NCGD

对比如下

实验部分总结:

• attention方法在$K=(6-8)$之间表现不错
• 胶囊方法方法在$K=2$和$K=6$时表现不错
• 对于后面提到的多兴趣超参数$\lambda$，只能说是要推荐准确就不要多样性，反之一样。

总结

多样性有点牵强，attention效果挺好的