LR 应用经验
LR-SVM-GBDT对比:
- LR能以概率的形式输出结果,而非只是0和1的判定。SVM的输出原本只能是0和1,是用来做分类的,可以通过一定的方法拿到概率,比如拟合点到超平面的距离。
- LR的可解释性强,可以从拟合结果中直观看到权重,可以看到那个特征对最终的影响大小,可空度非常高,通过观察可以随时调整权重。一般用来做基线版本。
- 训练快,GBDT样本量级不能太大,但是GBDT可以输连续值。通过一些技巧将特征打到更高的维度时(离散化等),LR的训练速度非常快(比GBDT快)。
- LR的结果是概率,可以用来做一个排序模型。
- 添加特征非常简单。
关于样本处理:
-
样本量太大怎么办?
可以对特征作离散化,用one-hot编码把特征处理成0,1值,收敛速度会快很多。
如果非要用连续值,可以 做scaling,也就是幅度变化。如果不做幅度变化,当有些特征非常大,比如房子面积,有些特侦比较小,如房间数,则画出来的等高线会变成一个椭圆,在计算梯度的时候不是特别准确,导致收敛特别慢或者来回振荡。
试试并行化平台,spark。
如果没有并行化平台,可以试试采样(采样方式:日期or用户or行为),不能随机取,在大样本情况下,随机取会破坏掉数据分布规律。