推荐系统遇上深度学习(四十八)-BST:将Transformer用于淘宝电商推荐

前几天还跟同事开玩笑说，DIN上面接一层Transformer，然后加一个Positional Encoding，然后再加Attention层，效果可能会好些。结果，今天就看到淘宝已经发出了相关的论文了，有一些地方还是没有想到的，咱们来一起看下。

本文的论文名称为：《Behavior Sequence Transformer for E-commerce Recommendation in Alibaba》

论文地址为：https://arxiv.org/pdf/1905.06874.pdf

1、背景

淘宝的推荐系统总体上也分为匹配和精排阶段，匹配阶段，我们刚刚在第四十六篇文章中介绍了其针对十亿级商品的embedding方案，感兴趣的同学可以看下前面的文章。

在精排阶段，主要基于Wide & Deep和深度兴趣网络DIN来构建精排模型，这两种模型都存在一定的问题。

Wide & Deep：使用商品的类别和品牌特征、商品的统计特征、用户画像特征，通过Wide 和Deep两个部分来预测。离散特征使用常用的embedding来降维。这一框架效果还算不错，但是实践中忽略了用户历史的行为序列特征。

DIN：该模型使用注意力机制来捕获目标商品与用户先前行为序列中商品之间的相似性，但未考虑用户行为序列背后的序列性质。

因此，本文尝试将NLP领域中大放异彩的Transformer模型来做