Practical Lessons from Predicting Clicks on Ads at Facebook

Abstract

这篇论文介绍 GBDT+LR 模型表现比单个模型好3%，另外本文探讨了一系列影响最终预测表现的因素。毫无疑问其中最重要的是 拥有正确的特征（捕捉用户和广告历史信息）+Model（GBDT+LR）的贡献程度最大
数据实时性，学习速率，数据采样等其他因素影响较小。

INTRODUCTION

介绍了先前的一些相关paper。包括Google，Yahoo，MS的关于CTR Model方面的paper
而在Facebook，广告系统是由级联型的分类器（a cascade of classifiers）组成，而本篇paper讨论的CTR Model则是这个cascade classifiers的最后一环节。

EXPERIMENTAL SETUP

作者介绍了如何构建training data和testing data，以及Evaluation Metrics。包括Normalized Entropy和Calibration。

Normalized Entropy的定义为每次展现时预测得到的log loss的平均值，除以对整个数据集的平均log loss值。之所以需要除以整个数据集的平均log loss值，是因为backgroud CTR越接近于0或1，则越容易预测取得较好的log loss值，而做了normalization后，NE便会对backgroud CTR不敏感了。这个Normalized Entropy值越低，则说明预测的效果越好。下面列出表达式：
Calibration的定义为预估CTR除以真实CTR，即预测的点击数除以真实观察到的点击数。这个值越接近1，则表明预测效果越好。

3. PREDICTION MODEL STRUCTURE

略

4. Decision tree feature transforms

5. Data freshness

CTR预估系统是在一个动态的环境中，数据的分布随时在变化，所以本文探讨了data freshness对预测效果的影响，表明training data的日期越靠近，效果越好。