一、华为比赛总结
1、top2选手:EDA探索
比赛第一步,先做EDA,发现强特具体来说,如观察某个变量对于label的分布
2、top1选手:比赛理论
3、自我总结
- 理论深挖一下,如lgb模型原理,nn原理,避免侥幸。
- 比赛不能犯懒,理论补充不能犯懒
- 不能有依赖心理,不能仅靠依赖队友
- 做技术需要静下心来
- 不能有畏难心理
二、Ctr总结
1、EDA
观察特征,比如观察uid_value_counts(),那么就会去除掉uid_counts()为1的样本
2、采样
(1):初赛复赛都用merge采样,非常局限
(2):随机采样,调整比例,达到和测试集分布一致
(3):基于uid_counts()采样,考虑不同day的情况
(4):要考虑新用户,提高泛化能力
(5):赛题理解,官方的话要严格揣摩
3、新思路
(1)Word2Vec Embedding
(2)xdeepfm,cin等各种推荐系统模型,参见深度系列
4、新做法
(1)从label出发,做关于某个feature的value_counts():
pd.grouby[‘label’, ‘feature’](‘feature’).agg({‘label_fea_count’:’count’})
(2)根据特征的value_counts(),做成2值特征
(3)长尾做log变换,喂进lgb,加速收敛