任务
学习时长:1/16——1/17
任务名称:特征工程的数据预处理对排名的提升
任务简介:特征工程之数据预处理
详细说明:
本节是在上一节的基础上进行新的数据预处理和数据的特征工程的方式,包括:数据清洗、数据的特征重做、以及数据特征的增加等,最后利用xgb算法去进行拟合,并预测之后得到结果。并利用kaggle的notebook来运行代码并提交结果。
通过不同的特征工程的知识进行添加可以得到不同的效果,最终的结果不是最好的,希望大家可以利用上自己的特色对其进行提高到top100
打卡截止时间:1/17
打卡
这部分,主要是在之前的基础上,进行了
特征的进一步细化和y变量的构造两部分。之前没有怎么接触过这种特征的处理方式,而且还涉及到时间特征的处理,学到了不少。
具体来说,
特征的细化主要是利用pandas进行字符串级别的操作,以将原先单独的特征分成多个可以利用的特征。如将 shops 按所处城市和商店类型细分为两类等等,同理还有item_category、item特征;
y 变量的构造主要是利用了pandas的分组和聚合等功能重新做出了题目所需要的变量:item_cnt_month这其中涉及到了对于时间的处理,比较麻烦。
接着,将得到的特征通过id整合到train文件中得到完整的数据;
最后,得到完整的数据后划分数据集并行模型学习和最后的预测,采用的还是xgboost模型。
整个过程代码用自己的笔记本跑了差一点到三个小时(13:20-16:08),到99轮结束。