风控比赛第五弹

本文介绍了模型融合和特征工程中的几种有效策略,包括利用两套不同目标的特征工程提升模型鲁棒性和拟合效果、采用Wrapper特征筛选结合多种子单模融合的方法减少过拟合、以及通过采样差异融合增加模型的多样性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

模型融合:

不知不觉来到了模型融合,想到天池的风控好多天没有提交了,决定提交一下,最新成绩是0.7394,rank10。
说来惭愧特征工程方面就制作了一类欺诈率特征,总共10个,然后使用lgb跑了下0.7399(线上0.7387)cat跑了下0.73916,0.8和0.2加权融合0.7389(rank11),融模有2个万的收益,有点小,如何提升呢,回归下大神的思路。


模型融合和特征工程:

说这之前先谈下昨天下午的翼支付风控决赛答辩,全程看下来决赛里面还是有不少大佬的思路值得学习。在模型融合方面有些思路值得借鉴。

1.鲁棒性<——>拟合效果

源自南航晨阳大佬,也是目前排名第二的大佬0.7428的大佬。

解释:两套特征工程的构建,第一部分做的比较全面,重在提升模型的拟合能力,第二部分特征小而精重在提升模型的鲁棒性,通过特征筛选得到。两套特征两个模型交叉得到四个结果,指数加权融合确定最终结果,模型的拟合能力和稳定性都可得到比较好的保证。

2.wrapper特征筛选+多种子单模融合
在这里插入图片描述
源自福州大学两位大佬,使用wrapper方式进行特征筛选,再将剩下的特征放到下个模型中进行训练。多种子模型融合,这个方法乍听起来不靠谱,但实际上确实有助于降低单模型的过拟合增强鲁棒性的,使用5个随机种子进行5次训练结果取平均。

3.采样差异融合
融合的思想和集成树一样,源自差异的提升。除了模型的差异,特征工程的差异,还有一个采样差异融合。设置不同的行和列的采样差异来进行提升(源自科大小爱同学冲冲冲介绍,目前rank9),这个问题具体实现有待进一步学习。与之类似的还有一个构造新表的问题(源自wo工睿佬翼支付rank1思路)。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值