IJCAI-18 阿里妈妈搜索广告转化预测 （初赛复赛前30名） 总结

1. 比赛背景

官网介绍：本次比赛以阿里电商广告为研究对象，提供了淘宝平台的海量真实交易数据，参赛选手通过人工智能技术构建预测模型预估用户的购买意向，即给定广告点击相关的用户（user）、广告商品（ad）、检索词（query）、上下文内容（context）、商店（shop）等信息的条件下预测广告产生购买行为的概率（pCVR），形式化定义为：pCVR=P(conversion=1 | query, user, ad, context, shop)。
结合淘宝平台的业务场景和不同的流量特点，我们定义了以下两类挑战：
（1）日常的转化率预估

（2）特殊日期的转化率预估

 

2. 比赛数据

    本次比赛为参赛选手提供了5类数据（基础数据、广告商品信息、用户信息、上下文信息和店铺信息）。基础数据表提供了搜索广告最基本的信息，以及“是否交易”的标记。广告商品信息、用户信息、上下文信息和店铺信息等4类数据，提供了对转化率预估可能有帮助的辅助信息。
    用于初赛的数据包含了若干天的样本。最后一天的数据用于结果评测，对选手不公布；其余日期的数据作为训练数据，提供给参赛选手。
    在上述各张数据表中，绝大部分样本包含了完整的字段数据，也有少部分样本缺乏特定字段的数据。如果一条样本的某个字段为“-1”，表示这个样本的对应字段缺乏数据。

 

3. 数据预处理

首先，我们针对数据做了一个整体分析：

1. 虽然个别数据有缺失值，但均在1%以下，对整个训练结果影响非常轻微。
2. 对每个特征进行可视化分析，有些特征符合正太分布，例如：各个用户等级数目，各个店铺的评价等级数目。有些特征符合长尾分布，例如：展示页面点击次数，各个广告商品的销量等级数目。
3. 日常的转化率和点击次数都很稳定，周末也相同。特殊日期转化率是正常日期的4倍以上。

3.1 缺失值处理

基于数据基本比较完好，我们不用做什么额外的学习，来补全缺失值，仅通过中位数或者众数补全即可。

当然，我们也需要看看数据中有没有异常数据。对于本题目来说，除了-1代表缺失值来说&#x