Practical Lessons from Predicting Clicks on Ads at Facebook

ABSTRACT
这篇paper中作者结合GBDT和LR，取得了很好的效果，比单个模型的效果高出3%。随后作者研究了对整体预测系统产生影响的几个因素，发现Feature（能挖掘出用户和广告的历史信息）+Model（GBDT+LR）的贡献程度最大，而其他因素（数据实时性，模型学习速率，数据采样）的影响则较小。

1. INTRODUCTION
   介绍了先前的一些相关paper。包括Google，Yahoo，MS的关于CTR Model方面的paper。
   在Facebook中，广告不与查询搜索相关，而是与特定的人群和兴趣相关。
   而在Facebook，广告系统是由级联型的分类器（a cascade of classifiers）组成，而本篇paper讨论的CTR Model则是这个cascade classifiers的最后一环节。

2. EXPERIMENTAL SETUP
   作者介绍了如何构建training data和testing data，以及Evaluation Metrics。包括Normalized Entropy和Calibration。
   Normalized Entropy的定义为每次展现时预测得到的log loss的平均值，除以对整个数据集的平均log loss值。之所以需要除以整个数据集的平均log loss值，是因为backgroud CTR越接近于0或1，则越容易预测取得较好的log loss值，而做了normalization后，NE便会对backgroud CTR不敏感了。这个Normalized Entropy值越低，则说明预测的效果越好。下面列出表达式：
   
   Calibration的定义为预估CTR除以真实CTR，即预测的点击数除以真实观察到的点击数。这个值越接近1，则表明预测效果越好。

3. PREDICTION MODEL STRUCTURE
   作者介绍了两种Online Learning的方法。包括Stochastic Gradient Descent（SGD）-based LR：
   
   和Bayesian online learning scheme for probit regression（BOPR）：
   BOPR每轮迭代时的更新公式为：
   
   3.1 Decision tree feature transforms
   Linear Model的表达能力不够，需要feature transformation。第一种方法是对连续feature进行分段处理（怎样分段，以及分段的分界点是很重要的）；第二种方法是进行特征组合，包括对离散feature做笛卡尔积，或者对连续feature使用联合分段（joint binning），比如使用k-d tree。
   而使用GBDT能作为一种很好的feature transformation的工具，我们可以把GBDT中的每棵树作为一种类别的feature，把一个instance经过GBDT的流程（即从根节点一直往下分叉到一个特定的叶子节点）作为一个instance的特征组合的过程。这里GBDT采用的是Gradient Boosting Machine + L2-TreeBoost算法。这里是本篇paper的重点部分，放一张经典的原图：
   
   3.2 Data freshness
   CTR预估系统是在一个动态的环境中，数据的分布随时在变化，所以本文探讨了data freshness对预测效果的影响，表明training data的日期越靠近，效果越好。
   3.3 Online linear classifier
   探讨了对SGD-based LR中learning rate的选择。最好的选择为：
   
   1）global效果差的原因：每个维度上训练样本的不平衡，每个训练样本拥有不同的feature。那些拥有样本数较少的维度的learning rate下降过快，导致无法收敛到最优值。
   2）per weight差的原因：虽然对于各个维度有所区分，但是其对于各个维度的learning rate下降速度都太快了，训练过早结束，无法收敛到最优值。
   SGD-based LR vs BOPR
   1）SGD-based LR对比BOPR的优势：
   1-1）模型参数少，内存占用少。SGD-based LR每个维度只有一个weight值，而BOPR每个维度有1个均值 + 1个方差值。
   1-2）计算速度快。SGD-LR只需1次内积计算，BOPR需要2次内积计算。
   2）BOPR对比SGD-based LR的优势：
   2-1）BOPR可以得到完整的预测点击概率分布。
   4 ONLINE DATA JOINER
   Online Data Joiner主要是用于在线的将label与相应的features进行join。同时作者也介绍了正负样本的选取方式，以及选取负样本时候的waiting time window的选择。

5 CONTAINING MEMORY AND LATENCY
作者探讨了GBDT中tree的个数，各种类型的features（包括contextual features和historical features），对预测效果的影响。结论如下：
1）NE的下降基本来自于前500棵树。
2）最后1000棵树对NE的降低贡献低于0.1%。
3）Submodel 2 过拟合，数据量较少，只有其余2个模型的约四分之一。
4）Importance为feature带来的累积信息增益 / 平方差的减少
5）Top 10 features贡献了将近一半的importance
6）最后的300个features的贡献不足1%

6 COPYING WITH MASSIVE TRANING DATA
作者探讨了如何进行样本采样的过程，包括了均匀采样（Uniform subsampling），和负样本降采样（Negative down sampling），以及对预测效果的影响。

补充：https://www.cnblogs.com/wkang/p/9657032.html
GBDT+LR 使用最广泛的场景是CTR点击率预估，即预测当给用户推送的广告会不会被用户点击。
点击率预估模型涉及的训练样本一般是上亿级别，样本量大，模型常采用速度较快的LR。但LR是线性模型，学习能力有限，此时特征工程尤其重要。现有的特征工程实验，主要集中在寻找到有区分度的特征、特征组合，折腾一圈未必会带来效果提升。GBDT算法的特点正好可以用来发掘有区分度的特征、特征组合，减少特征工程中人力成本。
主要包括两大部分：离线部分、在线部分，其中离线部分目标主要是训练出可用模型，而在线部分则考虑模型上线后，性能可能随时间而出现下降，弱出现这种情况，可选择使用Online-Learning来在线更新模型：
离线部分：
（1）数据收集：主要收集和业务相关的数据，通常会有专门的同事在app位置进行埋点，拿到业务数据
（2）预处理：对埋点拿到的业务数据进行去脏去重；
（3）构造数据集：经过预处理的业务数据，构造数据集，在切分训练、测试、验证集时应该合理根据业务逻辑来进行切分；
（4）特征工程：对原始数据进行基本的特征处理，包括去除相关性大的特征，离散变量one-hot，连续特征离散化等等;
（5）模型选择：选择合理的机器学习模型来完成相应工作，原则是先从简入深，先找到baseline，然后逐步优化；
（6）超参选择：利用gridsearch、randomsearch或者hyperopt来进行超参选择，选择在离线数据集中性能最好的超参组合；
（7）在线A/B Test：选择优化过后的模型和原先模型（如baseline）进行A/B Test，若性能有提升则替换原先模型；

在线部分：
（1）Cache & Logic：设定简单过滤规则，过滤异常数据；
（2）模型更新：当Cache & Logic 收集到合适大小数据时，对模型进行pretrain+finetuning，若在测试集上比原始模型性能高，则更新model server的模型参数；
（3）Model Server：接受数据请求，返回预测结果；

GBDT + LR 的结构
正如它的名字一样，GBDT+LR 由两部分组成，其中GBDT用来对训练集提取特征作为新的训练输入数据，LR作为新训练输入数据的分类器。
具体来讲，有以下几个步骤：
1 GBDT首先对原始训练数据做训练，得到一个二分类器，当然这里也需要利用网格搜索寻找最佳参数组合。
2 与通常做法不同的是，当GBDT训练好做预测的时候，输出的并不是最终的二分类概率值，而是要把模型中的每棵树计算得到的预测概率值所属的叶子结点位置记为1，这样，就构造出了新的训练数据。
举个例子，下图是一个GBDT+LR 模型结构，设GBDT有两个弱分类器，分别以蓝色和红色部分表示，其中蓝色弱分类器的叶子结点个数为3，红色弱分类器的叶子结点个数为2，并且蓝色弱分类器中对0-1 的预测结果落到了第二个叶子结点上，红色弱分类器中对0-1 的预测结果也落到了第二个叶子结点上。那么我们就记蓝色弱分类器的预测结果为[0 1 0]，红色弱分类器的预测结果为[0 1]，综合起来看，GBDT的输出为这些弱分类器的组合[0 1 0 0 1] ，或者一个稀疏向量（数组）。

这里的思想与One-hot独热编码类似，事实上，在用GBDT构造新的训练数据时，采用的也正是One-hot方法。并且由于每一弱分类器有且只有一个叶子节点输出预测结果，所以在一个具有n个弱分类器、共计m个叶子结点的GBDT中，每一条训练数据都会被转换为1*m维稀疏向量，且有n个元素为1，其余m-n 个元素全为0。
3 新的训练数据构造完成后，下一步就要与原始的训练数据中的label(输出)数据一并输入到Logistic Regression分类器中进行最终分类器的训练。思考一下，在对原始数据进行GBDT提取为新的数据这一操作之后，数据不仅变得稀疏，而且由于弱分类器个数，叶子结点个数的影响，可能会导致新的训练数据特征维度过大的问题，因此，在Logistic Regression这一层中，可使用正则化来减少过拟合的风险，在Facebook的论文中采用的是L1正则化。