蚂蚁金服风险大脑——支付风险识别天池大赛

最新推荐文章于 2020-11-11 19:59:00 发布

一只程序喵

最新推荐文章于 2020-11-11 19:59:00 发布

阅读量806

点赞数

分类专栏：机器学习

原文链接：https://blog.csdn.net/whdxjbw/article/details/80974299

版权

机器学习专栏收录该内容

5 篇文章 2 订阅

订阅专栏

博文链接https://blog.csdn.net/whdxjbw/article/details/80974299，感谢原博主的分享，学习了~

数据预处理（编码2分钟+运行5分钟）：
上传至HDFS，用分布式SQL引擎兼数据仓库来完成用于分析的海量业务数据存储。用Java处理数据，得到我们需要的格式。至于替换缺失值等操作完全可以在sophon中实现，极为方便。

风险大脑-支付风险识别天池大赛（一）数据预处理

https://blog.csdn.net/whdxjbw/article/details/80843936

风险大脑-支付风险识别天池大赛（二）数据存储及检查

https://blog.csdn.net/whdxjbw/article/details/80831655

建模（拖拽2分钟+调参运行10分钟）：
随机森林、梯度提升树、xgboost、svm。没有不好的算法，只有不好的数据和参数。所以在算法选择上建议大家不要犹豫，随机森林或xgboost就够用了。如果你的特征工程做得好、模型参数调得好，结果自然就会好。

其中随机森林在每颗树的深度和树的个数较高时具有不错的效果，但耗时相对较久。而xgboost和梯度提升树在默认参数下，较短的时间内就能获得相对较好的结果。具体模型的建立过程大家参考前几篇博客：

风险大脑-支付风险识别天池大赛（三）快速建立模型（含调参思路）

https://blog.csdn.net/whdxjbw/article/details/80847368

风险大脑-支付风险识别天池大赛（四）处理无标签数据、建立完整模型

https://blog.csdn.net/whdxjbw/article/details/80909545

期间，偶然发现一trick思路：

风险大脑-支付风险识别天池大赛（番外篇）trick思路

https://blog.csdn.net/whdxjbw/article/details/80925237

当你拖完下面的算子后，你的工作已经完成了90%了，sophon就是这么强大！

处理输出数据（编码2分钟+运行1分钟）：

这次直接用决定最终成绩的B榜数据去测试的，故得到结果直接参与排名。具体模型结果处理参考如下博文：

险大脑-支付风险识别天池大赛（五）处理模型输出并提交结果、“榜上有名”

https://blog.csdn.net/whdxjbw/article/details/80975373

结果：

差不多提交了8次，最终成绩，看着不错，其实还没出线：

可改进的地方：
1、端正参赛动机，不是为了得到第一，就不要去报名！不要认为自己不会中排行榜的毒。

2、无标签数据其实可以用基于“流形假设”的聚类策略，将高维度支付特征映射到分布在流形结构的低维特征上，这样能发现风险支付的某些局部相似特征。而不是仅仅的用把无标签数据都当成风险概率为0.65的trick策略（不过这个trick还挺好使）。

3、正常数据与风险数据是100:1，属于样本不均衡的情况，我们应当通过随机欠采样或随机过采样来解决此问题。事实证明，这样能够极为明显地提升模型效果。

4、本次直接把所有特征数据都送入模型进行了训练，然而通过观察数据可以发现实际上有些特征之间相关度比较高，如缺失都是缺失，不缺失则都大致相近。其实可以PCA计算每个特征的权重，选择TopK个权重（根据预先观察），再将选中的TopK个特征送入模型训练，这样可以大大减少噪声，由于没经验，以为给的数据就是完美的，故没做此操作，果然还是太年轻。

经过3、4两步后，模型对风险数据召回率直接飙升至0.735，之前仅有0.56左右，如下图，感觉应该能进前100了吧：