StackRec: 通过迭代堆叠实现推荐系统的高效训练

嘿，记得给“机器学习与推荐算法”添加星标

---

导读：现有的序列推荐算法大多采用浅层的神经网络结构。近日，发表在信息检索领域顶会SIGIR2021上的一篇论文发现，通过对残差块结构进行微小的修改，序列推荐模型能够使用更深的网络结构以进一步提升精准度，也就是说，推荐模型也能够像计算机视觉领域的模型那样拥有100层以上的深度结构并获得最优性能。在此基础上，论文提出一个高效且通用的框架StackRec来加速深度序列推荐模型的训练，并应用到多种实际的推荐场景中。

论文作者：

王佳纯，华南理工大学；原发杰，原腾讯看点研究员，现任西湖大学表征实验室PI；杨敏，SIAT-NLP PI

论文单位：

SIAT-NLP与腾讯PCG

论文下载：

https://arxiv.org/pdf/2012.07598.pdf

代码+数据下载：

https://github.com/wangjiachun0426/StackRec

深层序列推荐模型

由于推荐系统中的数据稀疏性问题以及深度学习中的梯度消失、梯度爆炸问题，现有的序列推荐算法往往采用浅层的神经网络结构（一般不超过10层，例如GRU4Rec通常1层最优，SASRec通常2个残差块最优）。而StackRec论文发现，通过对序列推荐模型的残差块进行微小的修改，在残差块的残差映射上添加一个权重系数，极深的网络也能得到有效的稳定的训练，从而缓解过拟合问题。具体来说，如图1所示，我们可以对残差块中的残差映射 添加一个系数 ，来衡量残差映射的权重，信号传播公式为：