前言
最近在打科大讯飞的电信客户流失预测挑战赛,赛题为很典型的二分类问题,使用AUC作为评估指标。从官方给的baseline上面学到了好多东西,这里写个总结。
- baseline:https://mp.weixin.qq.com/s/nLgaGMJByOqRVWnm1UfB3g
- 比赛:https://challenge.xfyun.cn/topic/info?type=telecom-customer&ch=ds22-dw-zs01
baseline提供了一种训练策略(KFold),三个Boosting算法(XGBoost, lightGBM,CatBoost),本文主要围绕它们展开。
KFold
k-fold cross-validation,k折交叉验证,初始采样分割成k个子样本,一个单独的子样本被保留作为验证模型的数据,其他k-1个样本用来训练,重复k次,保证每个子样本验证一次,平均k次的结果或者使用其它结合方式,最终得到一个单一的估测值。取k=5,一张图表示:
baseline相当于把这个思路写了一遍,实际上熟悉网格搜索(Grid Search)的同学,在使用sklearn的包时,会注意到**GridSearchCV()**类里面有一个参数cv,这个参数实际上就是在指定交叉验证的折数。采用这种交叉验证的方法,会将所有的数据都参与到训练和预测中,从而有效的避免过学习以及欠学习状态的发生,最后得到的结果也会比较具有说服性。baseline中还有引用StratifiedKFold(虽然并没有使用),该方法是KFold的增强版本,与KFold最大的差异在于StratifiedKFold方法是根据标签y中不同类别占比来进行数据拆分的,能保证分出来的每个折的目标变量具有与整个数据集中相同的比率,比较适用于不平衡的数据集。这次比赛官方给的数据集,训练数据一共150000条,其中正样本75042,几乎是1:1的,非常均衡。
除了k-fold,还有Hold-Out Method(分两组,一组做训练,一组做验证)、Double Cross-Validation(2-fold Cross Validation)、Leave P Out Cross Validation(使用原本样本中的P项来当