本文探讨了在机器学习竞赛中的模型设计方法，包括数值型数据的排序、离散和计数特征处理，以及多种模型的构建和融合。重点介绍了M1至M5的不同模型策略，如xgboost与SVM的结合、bagging思想的应用、模型差异性的评估和半监督学习的方法。此外，还提及了粒子群优化算法和GAN在模型集成中的应用。
本文是竞赛中的模型设计，基本都非常复杂，针对不同问题，有不同的解法，所以这只是参考。
1.微额借款人品预测-不得直视本王
特征处理的时候对数值型数据生成了排序特征，还有离散特征和计数特征。
M1:
python,R，java三个不同版本的xgboost + SVM。参数各有不同，因此模型间具有比较高的差异性。
M2:
利用bagging的思想，训练36个xgboost.每个xgboost的对各类型的特征都选取topN个，N的个数可以在一定范围内随机取，有利于模型的随机性。同时模型的参数也随机取。因此，可以同时在特征和参数中都增加了多样性。
M3:根据模型差异性简单加权融合
为了直观观察模型间的差异性，可计算模型间的最大信息系数，然后以混淆矩阵的形式给出（
最低0.47元/天 解锁文章
扫一扫
13万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
