Datawhale AI夏令营--电力需求预测挑战赛

Task1

赛题任务

给定多个房屋对应电力消耗历史N天的相关序列数据等信息,预测房屋对应电力的消耗。

赛题数据简介

赛题数据由训练集和测试集组成,为了保证比赛的公平性,将每日日期进行脱敏,用1-N进行标识。

即1为数据集最近一天,其中1-10为测试集数据。

数据集由字段id(房屋id)、 dt(日标识)、type(房屋类型)、target(实际电力消耗)组成。

import pandas as pd
import numpy as np

#导入pandas和numpy库做数据处理和科学计算


train = pd.read_csv('./data/data283931/train.csv')
test = pd.read_csv('./data/data283931/test.csv')

#再调用read_csv()函数读取和训练数据,并赋给train和teat变量
target_mean = train[train['dt'<=20].groupby(['id'])['target'].mean().reset_index()

#计算11-20单位时间内对应id的目标均值
test = test.merge(target_mean, on=['id'], how='left')
test[['id','dt','target']].to_csv('submit.csv', index=None)

#结果target_mean作为测试集合并赋给test,保存文件到本地得到测试结果。

task1内容相对简单一些,直接运行即可得到结果,提交得到分数

Task2

要点:

  • 使用数据集绘制柱状图和折线图

  • 使用时间序列数据构建历史平移特征和窗口统计特征

  • 使用lightgbm模型进行训练并预测

key:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限 

way:LightGBM(Light Gradient Boosting Machine)是一个实现GBDT算法的框架,支持高效率的并行训练,并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。

LightGBM 是一个梯度 boosting 框架, 使用基于学习算法的决策树. 它是分布式的, 高效的, 装逼的, 它具有以下优势: * 速度和内存使用的优化 * 减少分割增益的计算量 * 通过直方图的相减来进行进一步的加速 * 减少内存的使用 减少并行学习的通信代价 * 稀疏优化 * 准确率的优化 * Leaf-wise (Best-first) 的决策树生长策略 * 类别特征值的最优分割 * 网络通信的优化 * 并行学习的优化 * 特征并行 * 数据并行 * 投票并行 * GPU 支持可处理大规模数据 。

特征工程:

这里主要构建了 历史平移特征 窗口统计特征

  • 历史平移特征:通过历史平移获取上个阶段的信息;可以将d-1时间的信息给到d时间,d时间信息给到d+1时间,这样就实现了平移一个单位的特征构建。

  • 窗口统计特征:窗口统计可以构建不同的窗口大小,然后基于窗口范围进统计均值、最大值、最小值、中位数、方差的信息,可以反映最近阶段数据的变化情况。可以将d时刻之前的三个时间单位的信息进行统计构建特征给d时刻。

此段代码如下:

# 合并训练数据和测试数据,并进行排序

data = pd.concat([test, train], axis=0, ignore_index=True)

data = data.sort_values(['id','dt'], ascending=False).reset_index(drop=True)

# 历史平移

for i in range(10,30):

data[f'last{i}_target'] = data.groupby(['id'])['target'].shift(i)

# 窗口统计 data[f'win3_mean_target'] = (data['last10_target'] + data['last11_target'] + data['last12_target']) / 3

# 进行数据切分

train = data[data.target.notnull()].reset_index(drop=True)

test = data[data.target.isnull()].reset_index(drop=True)

# 确定输入特征

train_cols = [f for f in data.columns if f not in ['id','target']]

  • 这里选择原始给出训练数据集中dt为30之后的数据作为训练数据,之前的数据作为验证数据

  • 这样保证了数据不存在穿越问题(不使用未来数据预测历史数据)

 

 

def time_model(lgb, train_df, test_df, cols):
    # 训练集和验证集切分
    trn_x, trn_y = train_df[train_df.dt>=31][cols], train_df[train_df.dt>=31]['target']
    val_x, val_y = train_df[train_df.dt<=30][cols], train_df[train_df.dt<=30]['target']
    # 构建模型输入数据
    train_matrix = lgb.Dataset(trn_x, label=trn_y)
    valid_matrix = lgb.Dataset(val_x, label=val_y)
    # lightgbm参数
    lgb_params = {
        'boosting_type': 'gbdt',
        'objective': 'regression',
        'metric': 'mse',
        'min_child_weight': 5,
        'num_leaves': 2 ** 5,
        'lambda_l2': 10,
        'feature_fraction': 0.8,
        'bagging_fraction': 0.8,
        'bagging_freq': 4,
        'learning_rate': 0.05,
        'seed': 2024,
        'nthread' : 16,
        'verbose' : -1,
    }
    # 训练模型
    model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], 
                      categorical_feature=[], verbose_eval=500, early_stopping_rounds=500)
    # 验证集和测试集结果预测
    val_pred = model.predict(val_x, num_iteration=model.best_iteration)
    test_pred = model.predict(test_df[cols], num_iteration=model.best_iteration)
    # 离线分数评估
    score = mean_squared_error(val_pred, val_y)
    print(score)
       
    return val_pred, test_pred
    
lgb_oof, lgb_test = time_model(lgb, train, test, train_cols)

# 保存结果文件到本地
test['target'] = lgb_test
test[['id','dt','target']].to_csv('submit.csv', index=None)

提交测试结果,得到259.9分

依据评分公式,分数是越低越好,优化后提升是比较多的。

其中,是真实电力消耗,是预测电力消耗。

总结与展望

也许可以通过调整各个参数来获得机器学习模型lightgbm小的提升,期待task3中深度学习模型——lightgbm、xgboost和catboost,跑完这三个模型,将三个结果进行取平均进行融合,能够得到进一步较大的优化。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值