Datawhale AI 夏令营 学习笔记——机器学习竞赛——Task1

本次竞赛为电力需求预测挑战赛，其任务为给定多个房屋对应电力消耗历史N天的相关序列数据等信息，预测房屋对应电力的消耗。其本质为一个典型的时间序列问题

一、时间预测问题

时间序列问题是指对按时间顺序排列的数据点进行分析和预测的问题，往往用来做未来的趋势预测。比如，基于历史股票每天的股价，预测未来股票的价格走向。

常见的时间序列问题场景有：

1. 金融领域：股票价格预测、利率变动、汇率预测等。

2. 气象领域：温度、降水量、风速等气候指标的预测。

3. 销售预测：产品或服务的未来销售额预测。

4. 库存管理：预测库存需求，优化库存水平。

5. 能源领域：电力需求预测、石油价格预测等。

6. 医疗领域：疾病爆发趋势预测、医疗资源需求预测

时间序列问题的数据往往有如下特点：

1. 时间依赖性：数据点之间存在时间上的连续性和依赖性。

2. 非平稳性：数据的统计特性（如均值、方差）随时间变化。

3. 季节性：数据表现出周期性的模式，如年度、月度或周度。

4. 趋势：数据随时间推移呈现长期上升或下降的趋势。

5. 周期性：数据可能存在非固定周期的波动。

6. 随机波动：数据可能受到随机事件的影响，表现出不确定性。

以下为本赛题数据集中某个数据按照时间轴绘制的示意图：

由本图可知电力消耗情况以年为周期的固定周期性波动，并存在一定程度的不确定性；周期内平均电力消耗情况大致为在年初和年末左右最高，一年的中期电力消耗最低。最高到最低中均值为较为平滑的逐渐上升/下降。

二、时间预测模型

时间序列预测问题可以通过多种建模方法来解决，包括传统的时间序列模型、机器学习模型和深度学习模型。

模型	建模思路	优点	缺点
传统时间序列模型	基于时间序列数据的统计特性，如自相关性、季节性等。 使用ARIMA、季节性ARIMA（SARIMA）、指数平滑等模型。 通过识别数据的趋势和季节性成分来构建模型。	模型结构简单，易于理解和解释。 计算效率高，适合于数据量较小的问题。 直接针对时间序列数据设计，能够很好地处理数据的季节性和趋势。	对于非线性模式和复杂的时间序列数据，预测能力有限。 需要手动进行参数选择和模型调整。 对数据的平稳性有严格要求，非平稳数据需要差分等预处理。
机器学习模型	将时间序列数据转换为监督学习问题，使用历史数据作为特征，未来值作为标签。 使用决策树、随机森林、梯度提升树等模型。 通过特征工程来提取时间序列数据中的有用信息。	能够处理非线性关系和复杂的数据模式。 通过特征工程可以引入额外的解释性变量。 模型选择多样，可以进行模型融合以提高预测性能。	对于时间序列数据的内在时间结构和季节性可能不够敏感。 需要大量的特征工程工作。 模型的解释性可能不如传统时间序列模型。
深度学习模型	使用循环神经网络（RNN）、长短期记忆网络（LSTM）或一维卷积神经网络（1D-CNN）等模型。 能够捕捉时间序列数据中的长期依赖关系。 通过训练大量的参数来学习数据的复杂模式。	能够处理非常复杂的数据模式和长期依赖关系。 适用于大量数据，可以自动提取特征。 模型的灵活性和适应性强。	需要大量的数据和计算资源。 模型训练和调优可能比较复杂和耗时。 模型的解释性较差，难以理解预测结果的原因。
对比总结 适用性：传统模型适合数据量较小、模式简单的问题；机器学习模型适合中等复杂度的问题，可以引入额外变量；深度学习模型适合数据量大、模式复杂的任务。 解释性：传统时间序列模型通常具有较好的解释性；机器学习模型的解释性取决于特征工程；深度学习模型的解释性通常较差。 计算资源：传统模型计算效率最高；机器学习模型次之；深度学习模型通常需要最多的计算资源。 预测能力：深度学习模型在捕捉复杂模式方面具有优势，但需要大量数据支持；传统和机器学习模型在数据量较小或模式较简单时可能更有效。 在实际应用中，选择哪种模型取决于具体问题的需求、数据的特性以及可用的计算资源。有时，结合多种方法的混合模型可以提供更好的预测性能。

三、Task1分析

task1使用的为较简单的经验模型（使用均值作为结果数据），代码如下：

# 1. 导入需要用到的相关库
# 导入 pandas 库，用于数据处理和分析
import pandas as pd
# 导入 numpy 库，用于科学计算和多维数组操作
import numpy as np

# 2. 读取训练集和测试集
# 使用 read_csv() 函数从文件中读取训练集数据，文件名为 'train.csv'
train = pd.read_csv('train.csv')
# 使用 read_csv() 函数从文件中读取测试集数据，文件名为 'test.csv'
test = pd.read_csv('test.csv')

# 3. 计算训练数据最近11-20单位时间内对应id的目标均值
target_mean = train[train['dt']<=20].groupby(['id'])['target'].mean().reset_index()

# 4. 将target_mean作为测试集结果进行合并
test = test.merge(target_mean, on=['id'], how='left')

# 5. 保存结果文件到本地
test[['id','dt','target']].to_csv('submit.csv', index=None)

经验模型：
特点：经验模型是基于实验数据或观测结果建立的模型。 它们通过数据拟合和统计方法来描述系统的行为，而不考虑内部机制。
优点：经验模型建立相对较简单，可以通过收集实验数据进行模型参数的估计。 它们在处理复杂系统或缺乏详细机理了解的情况下具有一定的适用性。
缺点：经验模型通常只能提供对系统行为的表面描述，缺乏对内部机制的深入理解。 它们的预测能力可能受到数据质量和拟合方法的限制。

一般经验中，我们认为相同时间段内有较为类似的电力消耗情况，因此此处通过计算训练集中不同id的电力消耗均值，并赋值给训练集中对应房屋id，可以得到相对不错的预测结果。