【数据应用案例】CTR 预估模型的进化之路

案例来源：@TonyZhou

案例地址： h https://cloud.tencent.com/developer/article/1005416

1. 高维度离散特征+LR（广点通精排）

2. GBDT少量低维特征（Yahoo&Bing）

1）特征工程

3. GBDT+LR（Facebook）

1）方案一：

将id以外特征输入GBDT树来抽特征，id特征在lr阶段加入。

好处是同时利用了GBDT对连续特征自动离散化和特征组合，又利用了LR对id类离散特征的能力

2）方案二：

分别训练id类树和非id类树，将两者的特征组合输入LR。

好处是id类树保留头部资源的信息，非id类树保留ctr等长尾资源信息。

缺点是介于头部资源和长尾资源中的一部分资源，其信息同时包含在ctr和id中，使用非id树还是会有信息损失

3）缺点：

a. LR需要等GBDT输出，GBDT的在线预测慢于LR

b. GBDT不支持在线算法，只能离线方式更新

4. FM DNN（百度凤巢）

1）思路：

a. 如果用ID做特征，DNN不支持那么多维

b. 因此使用FM对海量id特征做embedding，用DNN做训练

2）FM可以理解成是LR+二维交叉项

3）缺点：

a. 二阶FM只能做二阶的特征组合

b. DNN调参复杂、性能不高，并不适用于中小业务

5. MLR (mixed logistic regression) （阿里妈妈）

1）思路：对空间分类，然后LR

2）优点：

a. 迁移能力强，如3C类和服装类不用分别训练自己的LR模型

3）缺点：

a. 分类超参数需要调

b. LR的缺点：人工组合特征、人工离散化分桶等

5. FTRL_Proximal（Google）

1）Google引入FTRL进行在线训练

2）在线训练的缺点是每次更新是沿着某个样本的梯度下降，L1正则也不一定能达到稀疏解

3）FTRL 是在传统的在线算法如 FOBOS 和 RDA 的基础上做了优化，它采用和 RDA 一样的 L1 正则，同时和 FOBOS 一样会限制每次更新的距离不能太远

4）另外 FTRL 采用Per-Coordinate Learning Rates，意思是对于某个特征的完整性比较低的时候，会动态加大学习率，而对于特征完整性高的，会减小学习率，让特征权重慢慢学。学习率的计算公式如下，即步长等于历次梯度的平方和的开方的倒数