【论文】Practical Lessons from Predicting Clicks on Ads at Facebook

本文介绍了一种结合decision trees和logistic regression的模型。结果比单个模型均高3%。本文然后探究了参数对模型结果的影响，最重要的因素是正确的特征：包含用户和广告的历史信息。选择最优的learning rate等对结果有一定的影响，但都低于合适的特征和模型对结果的提升。

作者使用Normalized Entropy (NE)和calibration作为主要的评估指标。NE是【…】Calibration是【…】

Model structure

经过trees的特征转换，会得到一个x=(e_i1, e_i2…e_in)的矩阵，其中e_i是第i个单位矩阵（e_i是行），i1…in是输入特征中的第n个取值。理解就是，每一行是一个样本，每一列是每一个特征（如此回归时每列有一个权重），矩阵中的值就是特征值。label是{+1, -1}，并使用SGD对sparse linear classifiers进行线上的下降学习。

BOPR

【…】

Decision tree feature transforms

在日常工作中，为了提高accuracy，有两种对linear classifier输入特征进行处理的方式。第一种，对于连续性特征，可以使用分箱，然后将每一个箱看做一个类别特征。第二种，对于类别型特征，最粗暴的解决方式是使用Cartesian product, i.e. 去创建新的类别特征，以尽可能的罗列完所有的组合取值。Not all combinations are useful, and those that are not can be pruned out. If the input features are continuous, one can do joint binning, using for example a k-d tree.

在本文中，作者发现提升决策树是一个有效又方便的方式，用于对上一段所描述的输入特征进行非线性和tuple转换。本文将每一棵树作为一个类别特征，该特征值就是index of一个样本在这棵树中输出的叶子节点。使用0-1的矩阵进行该特征的表示。例如在图1中有两个subtrees，subtree1有三个叶子节点，subtree2有两个叶子节点。样本在subtree1中落入了第二个叶子节点，在subtree2中落入了第二个叶子节点，则经过GBM的特征就是[0,1,0,1,0]。本文使用的提升决策树是Gradient Boosting Machine(GBM)，在每一次学习迭代中，添加一棵新的树。（In each learning iteration, a new tree is created to model the residual of previous trees.）树的分裂特征选择是基于maximize the squared error reduction.

A traversal from root node to a leaf node represents a rule on certain features. Fitting a linear classifier on the binary vector is essentially learning weights for the set of rules. 此外，提升决策树在每一次batch进行训练。

Containing memory and latency

树的个数

NE在1-500棵树下降明显，500以后树的个数影响不大。

特征重要性

top10的特征占据了总特征重要的一半。（因人而异）

Historical features

在Boosting模型中，特征可以分为两部分：contextual features和historical features. Historical features是基于用户和广告之间的历史交互。实验表示，historical features更重要。但不可忽视的是，contextual features可以用于解决冷启动的问题。

正负样本不均

有两种解决正负样本不均的方式：uniform subsampling和negative down sampling.【...】

negative down sampling的比例对于模型结果有显著影响。