集成学习学习笔记——数据挖掘实战流程（8）

一、厘清问题

        厘清特征、预测目标、损失函数、数据集

二、数据EDA

1. 对各数据分布（pdf）做展示，对训练集测试集中分布不均的特征做删除或者其他操作
2. 查看特征间的相关性，对那些与target相关系数小于一定阈值的特征可以酌情删除
3. 对数据做标准化（归一化、normal化）

三、特征工程

1. 对特征做Box-Cox变换，对非正态分布的连续性特征进行改造，同时利用QQ图去观察其是否服从正态分布。
2. 考虑对target变量（一般是时序性且方差递增的变量）做对数变换
3. 模型构建以及集成学习：
   1. 构建train_set valid_set test_set，确定cost function
   2. 删除离群值（基于简单模型的预测，对loss超过残差分布3σ的样本做筛除；也可以用Extreme Tree等方法）
   3. 模型训练，参数调整（网格搜索、随机搜索）