推荐召回算法之深度树模型

前言

从大规模物料库中检索物品并给用户做推荐，需要的算力是巨大的。阿里团队提出了一系列基于树的深度模型结构，旨在使用对数复杂度完成这个任务，减少算力的消耗。在这个结构中，支持用户和物品的层次关系构建，而不是将两者割裂开（例如双塔结构）。

模型主要思想是通过自上而下遍历树节点来为每个用户-节点对做出决策，从粗略到精细地预测用户兴趣。

该模型是一种召回模型，在下图系统中User-candidates matching的环节发挥作用。召回的核心问题是从大规模候选集合高效检索topK，算法效率尤为重要。

 

1 旧有算法及缺陷

基于物品的协同过滤：基于统计的启发式算法

1. 提前将物品库中的物品之间的相似度离线计算好，当为用户推荐时，从用户历史行为得到触发物品（用户喜欢过的物品等），将库中与触发物品相似的物品推荐给用户。包含用户行为触发和物品相似度计算两阶段。

2. 缺点：该方法根据用户历史行为进行推荐，推荐的新颖性差；并且受限于触发物品。

粗粒度推荐

1. 推荐类别，再将类别下的物品排序，推荐给用户。

2. 缺点：该方法当类别下面物品数量多时仍然无法摆脱大量的计算，并且物品类别的划分往往不是针对推荐定制的，会带来问题。

内积模型向量检索[5]：深度学习时代的产物

1. 离线学习物品Embedding；并基于聚类和乘积量化[6]算法为物品构建索引；需要给用户推荐时，实时计算用户Embedding，在索引中查找最近的若干个物品。

2. 这类方法相当于将推荐问题转换为向量检索问题：预测阶段等价于在内积空间中检索用户向量的最近邻。对于向量检索问题，通过使用散列化或量化[7]来构建索引，可以保证KNN检索效率。

3. 缺点：该类方法受限于内积的计算，用户与物品向量表示之间的内积交互形式严重限制了模型的性能。使用深度学习模型取代内积比较好，例如深度兴趣网络（DIN）[8]、深度兴趣进化网络（DIEN）[9]等算法中的做法，不过这类模型不能保证计算效率。

2 TDM 1.0

KDD2018：Learning Tree-based Deep Model for Recommender Systems

1. 叶子节点为商品节点。

2. 使用最大堆树保证可以使用Beam search检索的有效性：最大堆树下当前层的最优TopK孩子节点的父亲必然属于上层的父辈节点最优TopK。

3. 利用深度学习。

3 TDM 2.0

NIPS2019：Joint Optimization of Tree-based Index and Deep Model for Recommender Systems

 

优化树的结构：等价于寻找带权二部图的最大匹配（复杂度高），提出了基于贪心策略的分段式树学习算法。

4 TDM3.0

ICML2020：Learning Optimal Tree Models Under Beam Search

 

 

1. 解决模型在线下训练和线上进行检索服务时存在目标偏差的问题：

• 线下训练时，是逐层的多分类问题。
• 线上Serving时，对树进行Beam Search，关心的是检索得到的Top-k结果是否是最优的（使用召回率等衡量指标）。

2. 这篇文章设计方法将线上检索的目标以及过程考虑到训练中，保证离线训练以及线上Serving的一致性。

5 小结

深度学习是一种工具，算法工程师既要掌握和利用好这个工具，又不能因其限制思路。该系列文章利用树结构构建深度学习模型，让人眼前一亮。模型的设计利用了树这一结构方便控制搜索复杂度的特点，并且结合了最大堆等数据结构的思想，展现了算法设计的魅力。值得一提的是，模型还具有一定的可解释性。

参考

1. [1801.02294] Learning Tree-based Deep Model for Recommender Systems (arxiv.org)

2.【推荐系统】Learning Tree-based Deep Model for Recommender Systems_布纸所云-CSDN博客：https://blog.csdn.net/XindiOntheWay/article/details/85220342

3. [1902.07565] Joint Optimization of Tree-based Index and Deep Model for Recommender Systems (arxiv.org)

4. [2006.15408] Learning Optimal Tree Models Under Beam Search (arxiv.org)

5. Deep Neural Networks for YouTube Recommendations

6. Product Quantization乘积量化 | RexKing6's Note：https://blog.rexking6.top/2018/10/21/Product-Quantization乘积量化/

7. [1901.00275] Vector and Line Quantization for Billion-scale Similarity Search on GPUs (arxiv.org)

8. [1706.06978] Deep Interest Network for Click-Through Rate Prediction (arxiv.org)

9. [1809.03672] Deep Interest Evolution Network for Click-Through Rate Prediction (arxiv.org)

10. 阿里妈妈新突破！深度树匹配如何扛住千万级推荐系统压力：https://mp.weixin.qq.com/s/pWcFuOecG-dZHZ365clDjg

11. 阿里深度树匹配召回体系演进：https://mp.weixin.qq.com/s/oDXPN0VQFQEwZoLyNgR2WQ

12. 基于树的召回框架（三）：Learning Optimal Tree Models under Beam Search_pyxiea-CSDN博客：https://blog.csdn.net/xpy870663266/ article/details/115625977