8月15号结束的instacart kaggle比赛首战 top3% 69名。代码我就不贴了,第二第三的代码论坛里都找得到。我这里主要讲方法和注意事项:
以我不深的比赛经历,我觉得kaggle主要是一个靠特征工程和模型调参,和模型融合的比赛
第一 论坛和kernel里一般能够找到开源代码,先从得分最好的代码开始起步。我当时就是找到了得分最好的R代码,但当时我并不会R语言,所以我尝试从头到尾翻译成python。 但是翻译着翻译着就学会R了,后来就懒得改直接用R做特征工程了。当时运行这份代码就直接到了top14%,当然比赛结束还有一个月,大家也没有认真。
第二,可以尝试论坛里别人的介绍的方法,kaggle可能和国内的比赛很不一样,因为外国人非常喜欢分享,可能非常核心的东西也会分享,我当时通过着两篇论坛文章加了非常多的特征提升很大: 第一篇是关于word2vec的,第二篇是 How many features do you make? 这里我获得了大量特征,这是我比别人的特征工程做的好原因之一。另外还有一篇关于KDD特征工程的论文,我记得那时我经常一边看论文一边用R做特征工程。
第三,还是时刻关注论坛真的非常重要,其实instacart这个比赛是很有水平的,关注数学原理,其中F1优化本来是比赛的核心,但是在比赛快2周结束时,一个德国人把这个核心代码给开源了。导致前30到前200名差距只有特征工程和模型调参,融合。我当时名次直接升到90多,后来通过特征工程到了52名
第四 这个比赛快结束一周时,我记得当时我是52名,53名的人把自己的整个项目给开源了。