电力需求预测挑战赛Task2笔记

#AI夏令营 #Datawhale #夏令营

什么是特征工程

特征工程是参与机器学习竞赛的重要环节，可以通过观察数据并结合专业背景知识改善特征或者构建新的特征。

数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。

解决回归预测问题思路

常规思路一般为使用机器学习模型，如LightGBM、XGBoost，或者使用深度学习模型（神经网络等）进行实践，在模型的搭建上就比较复杂，需要自己构建模型结构，对于数值数据需要进行标准化处理；

使用机器学习方法入手方面与步骤

数据&增强、特征提取和模型

一般的使用机器学习模型解决问题的主要步骤为探索性数据分析、数据预处理、提取特征、切分训练集与验证集、训练模型、预测结果。

基础概念

GBDT

GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。

GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。

LightGBM

LightGBM（Light Gradient Boosting Machine）是一个实现GBDT算法的框架，支持高效率的并行训练，并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。框架中还包括随机森林和逻辑回归等模型。通常应用于二分类、多分类和排序等场景。

示例代码

示例代码主要构建了 历史平移特征 和 窗口统计特征；

历史平移特征：通过历史平移获取上个阶段的信息；如下图所示，可以将d-1时间的信息给到d时间，d时间信息给到d+1时间，这样就实现了平移一个单位的特征构建。

窗口统计特征：窗口统计可以构建不同的窗口大小，然后基于窗口范围进统计均值、最大值、最小值、中位数、方差的信息，可以反映最近阶段数据的变化情况。如下图所示，可以将d时刻之前的三个时间单位的信息进行统计构建特征给我d时刻。

模型训练与测试集预测和构建

示例代码选择使用Lightgbm模型，是通常作为数据挖掘比赛的基线模型，在不需要过程调参的情况的也能得到比较稳定的分数。

训练集和验证集的构建：因为数据存在时序关系，所以需要严格按照时序进行切分，选择原始给出训练数据集中dt为30之后的数据作为训练数据，之前的数据作为验证数据，保证了数据不存在穿越问题（不使用未来数据预测历史数据）。