![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据竞赛(数据挖掘)
贝壳er
记录和学习
展开
-
Pandas如何进行内存优化和数据加速度取(附代码详解)
Pandas 是常用的 Python 软件库,可用于数据操作和分析。在进行数据分析时,导入数据(例如pd.read_csv)几乎是必需的,但对于大的CSV,可能会需要占用大量的内存和读取时间,这对于数据分析时如果需要Reloading原始数据的话会非常低效。 Dataquest.io 发布...原创 2019-11-05 20:02:17 · 1128 阅读 · 3 评论 -
Predict Future Sales(时间序列)——Kaggle银牌(TOP 4%)基础方案(一):赛题背景和数据字段分析
笔者将分享一次kaggle数据竞赛的实例,包括了数据竞赛的基本套路流程:赛题业务背景分析,数据探索(EDA),特征工程,单模预测(特征重要性分析)以及stacking模型融合。本次赛题的链接:Predict Future Sales,赛题任务是对未来的销量进行预测,属于时间序列挖掘的一类问题,数据由俄罗斯最大的软件公司:1C Company提供。文件说明数据集下载:dataset...原创 2019-09-17 21:02:22 · 5082 阅读 · 0 评论 -
Predict Future Sales(时间序列)——Kaggle银牌(TOP 4%)基础方案(二):EDA和数据预处理
所谓的EDA,即为数据探索,这里主要指的是赛前的数据探索(第二种是对模型的分析,包括LightGBM/XgBoost的feature importance,LR,SVM的coeff等)。那木赛前数据的EDA要做那些呢,第一个是对数据集的宏观分析,包括数据缺失,数据重复,异常值检测以及一些数据的清洗工作。还有就是变量之间相互关系的分析,包括计算相关性,变量可视化等等,合适的EDA可以帮助我们发...原创 2019-09-19 12:12:45 · 6475 阅读 · 7 评论 -
Predict Future Sales(时间序列)——Kaggle银牌(TOP 4%)基础方案(三):特征工程及线下验证划分
上篇说到了数据预处理和EDA,数据预处理是为了提高数据的可用性,而EDA则可以挖掘数据的规律,便于构造特征。在一个机器学习数据竞赛任务中,有句话叫做“特征决定任务能达到的高度,而模型和算法包括调参只是逼近这个高度”。特征工程的重要性是不言而喻的。对于我们这个任务而言,由于是时间序列问题,很多地方和其他类问题的处理不一样,比如时间序列问题在构造特征的时候就要包括到历史特征,还有时间窗特征,包括时间窗...原创 2019-09-19 19:52:05 · 4802 阅读 · 4 评论 -
Predict Future Sales(时间序列)——Kaggle银牌(TOP 4%)基础方案(四):单模预测及模型融合
构造完特征接下来就是模型预测部分了,至于这里说的模型融合,实际上已经是各大数据竞赛上分的约定俗成的套路。单模一:CatBoostcatboost是俄罗斯大佬发布于2017年的一个强大的Boost算法,据发布者所说是继XGBoost和LightGBM后的又一个树模型大杀器,且性能要优于前面两个:原文链接。一般认为CatBoost有如下优点:它自动采用特殊的方式处理类别型特征(cate...原创 2019-09-19 21:43:45 · 5615 阅读 · 6 评论