2019中国高校计算机大赛——大数据挑战赛rank5总结

方案代码及答辩ppt：https://github.com/LiuYaKu/2019-rank5

一、赛题分析：

评价指标qauc，qauc为不同query下auc的平均值：

                                             

特征工程部分与qauc评价指标密切相关。

初赛和复赛不同之处，title的ctr特征：

初赛使用前9500万数据进行统计title的ctr，使用后500万做训练，效果不错。
复赛使用前9亿5000万数据进行统计title的ctr，使用后5000万做训练，出现了严重的过拟合。

原因分析：

1、可能是复赛的训练集和测试集的时间差较大
2、训练集和测试集的分布差别较大,缺失title的分布不同。

解决方案：

1、采样训练集数据统计title的ctr，需要利用测试集的分布(泛化能力可能不好)。
2、将ctr相关的特征都从传统特征中抽出独立训练一个模型，不需要利用测试集的分布(泛化能力较强)。

思路设计：

1、训练单模，给神经网络加特征，使单模达到高水平。
2、训练多个差异较大的模型，使模型融合后得到高收益。

最终使用第二个方案：

原因：方便队友三人合作，分别优化一个模型，只要