Datawhale AI夏令营第2期-科大讯飞xDatawhale-电力需求预测挑战赛-Task1

1、赛题介绍

1.1 赛题任务

给定多个房屋对应电力消耗历史N天的相关序列数据等信息，预测房屋对应电力的消耗。

1.2 赛题数据

赛题数据由训练集和测试集组成，为了保证比赛的公平性，将日期进行脱敏，用1-N进行标识。

即1为数据集最近一天，其中1-10为测试集数据。

数据集由字段id（房屋id）、dt（日标识）、type（房屋类型）、target（实际电力消耗）组成。

 本赛题数据集中某个数据按照时间轴绘制的示意图

2、赛题分析

2.1 本赛题是一个典型的时间序列问题

时间序列问题是指对按时间顺序排列的数据点进行分析和预测的问题，往往用来做未来的趋势预测。比如，基于历史股票每天的股价，预测未来股票的价格走向。

简单来说，本次赛题的目标很简单清晰——【训练 时序预测模型 助力电力需求预测】

电力需求的准确预测对于电网的稳定运行、能源的有效管理以及可再生能源的整合至关重要。

2.2 常见的时间序列场景有：

1. 金融领域：股票价格预测、利率变动、汇率预测等。

2. 气象领域：温度、降水量、风速等气候指标的预测。

3. 销售预测：产品或服务的未来销售额预测。

4. 库存管理：预测库存需求，优化库存水平。

5. 能源领域：电力需求预测、石油价格预测等。

6. 医疗领域：疾病爆发趋势预测、医疗资源需求预测。

2.3 时间序列问题的数据往往有如下特点：

1. 时间依赖性：数据点之间存在时间上的连续性和依赖性。

2. 非平稳性：数据的统计特性（如均值、方差）随时间变化。

3. 季节性：数据表现出周期性的模式，如年度、月度或周度。

4. 趋势：数据随时间推移呈现长期上升或下降的趋势。

5. 周期性：数据可能存在非固定周期的波动。

6. 随机波动：数据可能受到随机事件的影响，表现出不确定性。

2.4 解题思路

时间序列预测问题可以通过多种建模方法来解决，包括传统的时间序列模型、机器学习模型和深度学习模型。

以下是这三种方法的建模思路、优缺点对比：

模型	建模思路	优点	缺点
1）传统时间序列模型	基于时间序列数据的统计特性，如自相关性、季节性等。 使用ARIMA、季节性ARIMA（SARIMA）、指数平滑等模型。 通过识别数据的趋势和季节性成分来构建模型。	模型结构简单，易于理解和解释。 计算效率高，适合于数据量较小的问题。 直接针对时间序列数据设计，能够很好地处理数据的季节性和趋势。	对于非线性模式和复杂的时间序列数据，预测能力有限。 需要手动进行参数选择和模型调整。 对数据的平稳性有严格要求，非平稳数据需要差分等预处理。
2）机器学习模型	将时间序列数据转换为监督学习问题，使用历史数据作为特征，未来值作为标签。 使用决策树、随机森林、梯度提升树等模型。 通过特征工程来提取时间序列数据中的有用信息。	能够处理非线性关系和复杂的数据模式。 通过特征工程可以引入额外的解释性变量。 模型选择多样，可以进行模型融合以提高预测性能。	对于时间序列数据的内在时间结构和季节性可能不够敏感。 需要大量的特征工程工作。 模型的解释性可能不如传统时间序列模型。
3）深度学习模型	使用循环神经网络（RNN）、长短期记忆网络（LSTM）或一维卷积神经网络（1D-CNN）等模型。 能够捕捉时间序列数据中的长期依赖关系。 通过训练大量的参数来学习数据的复杂模式。	能够处理非常复杂的数据模式和长期依赖关系。 适用于大量数据，可以自动提取特征。 模型的灵活性和适应性强。	需要大量的数据和计算资源。 模型训练和调优可能比较复杂和耗时。 模型的解释性较差，难以理解预测结果的原因。
对比总结 适用性：传统模型适合数据量较小、模式简单的问题；机器学习模型适合中等复杂度的问题，可以引入额外变量；深度学习模型适合数据量大、模式复杂的任务。 解释性：传统时间序列模型通常具有较好的解释性；机器学习模型的解释性取决于特征工程；深度学习模型的解释性通常较差。 计算资源：传统模型计算效率最高；机器学习模型次之；深度学习模型通常需要最多的计算资源。 预测能力：深度学习模型在捕捉复杂模式方面具有优势，但需要大量数据支持；传统和机器学习模型在数据量较小或模式较简单时可能更有效。 在实际应用中，选择哪种模型取决于具体问题的需求、数据的特性以及可用的计算资源。有时，结合多种方法的混合模型可以提供更好的预测性能。

3. 代码baseline

baseline使用python代码构建了一个经验模型（使用均值作为结果数据）

主要通过了如下几个步骤对数据进行处理

 1. 导入库

- 首先，代码导入了需要用到的库，包括 pandas（用于数据处理和分析）。

2. 读取数据

- 代码通过使用 pd.read_csv 函数从文件中读取训练集和测试集数据，并将其存储在 train.csv 和 test.csv 两个数据框中。

3. 计算最近时间的用电均值

- 计算训练数据最近11-20单位时间内对应id的目标均值，可以用来反映最近的用电情况。

4. 将用电均值直接作为预测结果

- 这里使用merge函数根据'id'列将test和target_mean两个DataFrame进行左连接，这意味着测试集的所有行都会保留。

5. 保存结果文件到本地

- 使用to_csv()函数将测试集的'id'、'dt'和'target'列保存为CSV文件，文件名为'submit.csv'。index=None参数表示在保存时不包含行索引。

# 1. 导入需要用到的相关库
# 导入 pandas 库，用于数据处理和分析
import pandas as pd
# 导入 numpy 库，用于科学计算和多维数组操作
import numpy as np

# 2. 读取训练集和测试集
# 使用 read_csv() 函数从文件中读取训练集数据，文件名为 'train.csv'
train = pd.read_csv('train.csv')
# 使用 read_csv() 函数从文件中读取测试集数据，文件名为 'train.csv'
test = pd.read_csv('test.csv')

# 3. 计算训练数据最近11-20单位时间内对应id的目标均值
target_mean = train[train['dt']<=20].groupby(['id'])['target'].mean().reset_index()

# 4. 将target_mean作为测试集结果进行合并
test = test.merge(target_mean, on=['id'], how='left')

# 5. 保存结果文件到本地
test[['id','dt','target']].to_csv('submit.csv', index=None)