CTR预估模型的进化之路

作者：tongzhou

转载请注明出处：http://blog.csdn.net/u013074302/article/details/76419592

导语

笔者对各大厂商CTR预估模型的优缺点进行对比，并结合自身的使用和理解，梳理出一条CTR预估模型的发展脉络，希望帮助到有需要的同学。

0. 提纲

1. 背景

2. LR 海量高纬离散特征 (广点通精排)

3. GBDT 少量低纬连续特征 (Yahoo & Bing)

4. GBDT+LR (FaceBook)

5. FM+DNN (百度凤巢)

6. MLR (阿里妈妈)

7. FTRL_Proximal (Google)

1. 背景

众所周知，广告平台的最终目标是追求收益最大化，以 CPC 广告为例，平台收益既与 CPC 单价有关，又与预测 CTR 有关。在排序的时候，CPC 可以认为是一个确定的值，所以这里的关键是预测用户的点击率 pCTR。

( 指数项 w 是一个调节因子，用于平衡用户体验和收入。扶持力度用于调节各个广告渠道 )

互联网公司根据各自业务的特点，研发出了各种各样的 CTR 预估模型及其变种，本文尝试在众多流派和分支中梳理出一条 CTR 预估模型的发展脉络。

2. LR 海量高纬离散特征 (广点通精排)

LR（逻辑回归）[1]可以称之上是 CTR 预估模型的开山鼻祖，也是工业界使用最为广泛的 CTR 预估模型。LR 是广义线性模型，与传统线性模型相比，LR 使用了 Logit 变换将函数值映射到 0~1 区间，映射后的函数值就是 CTR 的预估值。

LR 利用了 Logistic 函数，函数形式为： 

对于线性边界，边界形式如下： 

Logistic 函数在有个很漂亮的"S"形，如下图所示：

构造 log 损失函数，用梯度下降法求最小值，得到参数向量θ：

2.1 正则化

为了防止过拟合，通常会在损失函数后面增加惩罚项 L1 正则或者 L2 正则：

• L1 正则化是指权值向量 w 中各个元素的绝对值之和，通常表示为||w||1；
• L2 正则化是指权值向量 w 中各个元素的平方和然后再求平方根，通常表示为||w||2。