#Paper Reading# Learning Tree-based Deep Model for Recommender Systems

论文题目: Learning Tree-based Deep Model for Recommender Systems
论文地址: https://dl.acm.org/doi/abs/10.1145/3219819.3219826
论文发表于: KDD 2018（CCF A类会议）
论文所属单位: Alibaba

论文大体内容：
本文主要提出了TDM（Tree-based Deep Model）方法，用于优化推荐系统中触发的问题；

Motivation：
常见的模型触发方法是Tower，然后使用ANN进行触发，但是效果不够优且性能不够好（训练时计算内积是瓶颈）；
向量检索不太方便做用户和商品之间的特征组合关系，而本文提出的TDM允许容纳任意先进的模型而非限定内积形式，并且能够对全量候选集进行更好的推荐；

Contribution：
①TDM因为在serving时是对数复杂度，所以可以支持任意大模型；
②TDM的层次搜索能给出更优的效果；
③树形结构和NN的联合学习；
④实验证明TDM效果更优；

1. 树的结构是最大堆结构，父节点的值等于最大的儿子节点值，从而可以由顶向下搜索；

2. 树的更新方式
①树的初始化：根据photo的类目体系进行树的初始化；
②数的更新：使用k-means聚类，每次分裂为等数据的2部分；

3. TDM使用了同层级的随机负采样方式；

4. 预测时对树的搜索，时间复杂度是 2*k*log|C| ，因为这里是二叉树，所以每一层最多探索 2*k 个节点；

5. 模型结构如下图，采用类似于EM的思想，NN与树结构是联合学习的，过程如下：
①初始化树，然后跑NN只到收敛；
②根据新的叶子节点embedding（photo embedding），重建树；
③跑NN，再重建树，如此反复；

实验
6. Dataset
①MovieLens-20M
②UserBehavior（Taobao advertising dataset）

7. Baseline
①FM；
②BPR-MF；
③Item-CF；
④YouTube product-DNN；
⑤TDM attention-DNN；

8. Metric
①Precision；
②Recall；
③F1；

9. 实验结果

 

以上均为个人见解，因本人水平有限，如发现有所错漏，敬请指出，谢谢！