#AI夏令营 #Datawhale #夏令营
什么是特征工程
特征工程是参与机器学习竞赛的重要环节,可以通过观察数据并结合专业背景知识改善特征或者构建新的特征。
数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限。
解决回归预测问题思路
常规思路一般为使用机器学习模型,如LightGBM、XGBoost,或者使用深度学习模型(神经网络等)进行实践,在模型的搭建上就比较复杂,需要自己构建模型结构,对于数值数据需要进行标准化处理;
使用机器学习方法入手方面与步骤
数据&增强、特征提取和模型
一般的使用机器学习模型解决问题的主要步骤为探索性数据分析、数据预处理、提取特征、切分训练集与验证集、训练模型、预测结果。
基础概念
GBDT
GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型,其主要思想是利用弱分类器(决策树)迭代训练以得到最优模型,该模型具有训练效果好、不易过拟合等优点。
GBDT不仅在工业界应用广泛,通常被用于多分类、点击率预测、搜索排序等任务;在各种数据挖掘竞赛中也是致命武器,据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。
LightGBM
LightGBM(Light Gradient Boosting Machine)是一个实现GBDT算法的框架,支持高效率的并行训练,并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。框架中还包括随机森林和逻辑回归等模型。通常应用于二分类、多分类和排序等场景。
示例代码
示例代码主要构建了 历史平移特征 和 窗口统计特征;
历史平移特征:通过历史平移获取上个阶段的信息;如下图所示,可以将d-1时间的信息给到d时间,d时间信息给到d+1时间,这样就实现了平移一个单位的特征构建。
窗口统计特征:窗口统计可以构建不同的窗口大小,然后基于窗口范围进统计均值、最大值、最小值、中位数、方差的信息,可以反映最近阶段数据的变化情况。如下图所示,可以将d时刻之前的三个时间单位的信息进行统计构建特征给我d时刻。
模型训练与测试集预测和构建
示例代码选择使用Lightgbm模型,是通常作为数据挖掘比赛的基线模型,在不需要过程调参的情况的也能得到比较稳定的分数。
训练集和验证集的构建:因为数据存在时序关系,所以需要严格按照时序进行切分,选择原始给出训练数据集中dt为30之后的数据作为训练数据,之前的数据作为验证数据,保证了数据不存在穿越问题(不使用未来数据预测历史数据)。