推荐系统 | KDD2019 阿里 Res-embedding for Deep Learning Based Click-Through Rate Prediction Modeling

这篇文章是阿里巴巴2019年KDD上的文章，区别以往在MLP层的改进，本篇文章更多关注embedding层的优化。可以带着以下几个问题进行论文阅读，1.为何需要改进Embedding层，2.数学推导证明改进Embedding对提升模型泛化性能的作用3. 如何改进embedding 及 res-embedding的设计4. 相关参数控制和实验结果论证

目录

1. 背景

2. 理论分析

2.1 兴趣延迟模型(interest delay model)

2.2 泛化分析

3. Res-embedding 实现

3.1 interest graph

3.2 优化目标

5. 实验结论

6.总结思考

6.1 内容总结

6.2 个人思考

---

1. 背景

深度学习的快速发展，为推荐系统注入新的动力，并取得了显著的效果。目前大多数深度CTR模型大多都遵循Embedding和MLP范式，如上图所示：

1. Embedding层：将离散id特征（如用户历史点击项）映射到低维向量，然后通过池转换为固定长度向量。
2. MLP层：其目的是学习特征之间的非线性关系，并通过完全连接的网络（即多层感知）来匹配目标。

当前的模型改进大多都集中在MLP层，设计新的网络结构来替代MLP，如PNN、DeepFM、DIN和DIEN等，以更好地捕捉特征之间的非线性关系，而很少有人去改进基本但重要的embedding模块。Embedding和MLP的参数都是端到端学习的，这样Embedding直接确定后续MLP模块的输入分布。根据数据相关泛化理论，输入分布将影响模型的泛化性能，所以，embedding模块对deep CTR模型的泛化性能至关重要。然而目前embedding方式存在以下两点不足：

1. 在许多实际系统中，特征的数量可以达到数十亿，导致嵌入参数的数量庞大。这会提高记忆能力，但会降低泛化能力。
2. 传统的嵌入模块仅在点击标签的监督下，很难学习到具有较高泛化能力的代表性映射

 

2. 理论分析

对于电商的场景，用户的点击更多是基于用户的兴趣，因此构建了兴趣延迟模型(interest delay model)描述用户点击行为。将用户兴趣分成几个类别-称之为兴趣域(interest domains)，基于兴趣延迟模型和泛化理论，作者认为通过减小同一兴趣域的的包络半径，有利于减小泛化误差。

2.1 兴趣延迟模型(interest delay model)

用户的兴趣在一个"period"内，表现在点击上具备一定的持续性，因此可以对历史上用户点击的item集合，可以分属于不同的兴趣域。如下图所示，当只有两个两个兴趣域时，样本分布可以用兴趣域的条件概率表示。

同时也对用户的实际点击行为做了假设，进行样本建模。假设用户的每次点击都从属于一个兴趣域，一个兴趣阈负责一个period的用户点击行为，一个period的共有T个点击行为。然后T*p个历史点击行为预测用于下一个兴趣域下的点击行为xt。