XGBoost, lightGBM, CatBoost——尝试站在巨人的肩膀上

前言

最近在打科大讯飞的电信客户流失预测挑战赛，赛题为很典型的二分类问题，使用AUC作为评估指标。从官方给的baseline上面学到了好多东西，这里写个总结。

• baseline：https://mp.weixin.qq.com/s/nLgaGMJByOqRVWnm1UfB3g
• 比赛：https://challenge.xfyun.cn/topic/info?type=telecom-customer&ch=ds22-dw-zs01

baseline提供了一种训练策略（KFold），三个Boosting算法（XGBoost, lightGBM，CatBoost），本文主要围绕它们展开。

KFold

k-fold cross-validation，k折交叉验证，初始采样分割成k个子样本，一个单独的子样本被保留作为验证模型的数据，其他k-1个样本用来训练，重复k次，保证每个子样本验证一次，平均k次的结果或者使用其它结合方式，最终得到一个单一的估测值。取k=5，一张图表示：

baseline相当于把这个思路写了一遍，实际上熟悉网格搜索(Grid Search)的同学，在使用sklearn的包时，会注意到**GridSearchCV()**类里面有一个参数cv，这个参数实际上就是在指定交叉验证的折数。采用这种交叉验证的方法，会将所有的数据都参与到训练和预测中，从而有效的避免过学习以及欠学习状态的发生,最后得到的结果也会比较具有说服性。baseline中还有引用StratifiedKFold(虽然并没有使用)，该方法是KFold的增强版本，与KFold最大的差异在于StratifiedKFold方法是根据标签y中不同类别占比来进行数据拆分的，能保证分出来的每个折的目标变量具有与整个数据集中相同的比率，比较适用于不平衡的数据集。这次比赛官方给的数据集，训练数据一共150000条，其中正样本75042，几乎是1:1的，非常均衡。
除了k-fold，还有Hold-Out Method(分两组,一组做训练,一组做验证)、Double Cross-Validation(2-fold Cross Validation)、Leave P Out Cross Validation(使用原本样本中的P项来当做验证数据