RS Meet DL(62)-[阿里]电商推荐中的特殊特征蒸馏

今天介绍的论文是：《Privileged Features Distillation for E-Commerce Recommendations》

说说题目吧，先讲讲蒸馏（Distillation）的概念，我们知道模型最终都要应用于线上，如果太过复杂的模型会导致性能无法保证，往往会应用一个比较简单的模型。但简单的模型有时难以保证预测精度，因此一种做法是训练一个复杂的模型作为老师来指导这个简单模型的训练。这种教师-学生的训练模式，便称为蒸馏。再讲讲Privileged Features，我们这里暂且翻译为特殊特征。好了，进入正文吧。

1、背景

在淘宝的推荐系统中，整个推荐流程可以分为下面的三个阶段：

首先是候选集生成阶段(candidate generation)，接下来是粗排阶段(coarse-grained ranking)，最后是精排阶段(fine-grained ranking)。这里跟咱们之前接触的两阶段过程不太一样，接下来分别介绍各阶段的内容。

在候选集生成阶段，通过多路召回的方式得到候选集合，召回方式可能有协同过滤、DNN模型等等。

在粗排阶段，