数据分析
使用describe(),cov()函数查看数据之间的联系,使用折线图查看变量之间的关系。
数据清洗
- 处理缺失值,使用平均值,最大值,频次最多的值代替缺失值,甚至可以将缺失值作为新的特征值。
- 异常值处理,可视化处理方式:箱图,散点图,数学处理方法:孤立森林
特征工程
- 特征合并:将类似的特征进行合并
- 计算统计特征:对特征进行求平方差,均值等统计量。
- 特征选择:对已经构造的特征进行选取,选取方法有Filter,wrapper,embeded。
模型选择
使用XGBoost,ligthBGM对处理后的train_data进行训练,调节参数。
在预给的代码中,lightBGM的评分是0.9.
模型融合
模型融合的方法有投票法,stacking,bagging,blending,Boosting。