Datawhale AI 夏令营 机器学习方向电力需求预测Task2：进阶lightgbm，开始特征工程笔记

        记录一下参加Datawhale AI 夏令营学习task2使用lightgbm模型进行电力需求预测的笔记～

1.导入模块：

import numpy as np
import pandas as pd
import lightgbm as lgb
from sklearn.metrics import mean_squared_log_error, mean_absolute_error, mean_squared_error
import tqdm
import sys
import os
import gc
import argparse
import warnings
warnings.filterwarnings('ignore')

1）numpy：用于科学计算的库，主要用于数值计算、数组操作、线性代数等。常见操作包括创建数组、矩阵运算、随机数生成等。

2）pandas：数据处理和分析的库，主要用于数据清洗、数据分析、数据操作等。常见操作包括读取数据、数据筛选、数据聚合等。

3）lightgbm：一个高效的梯度提升框架，适用于分类和回归任务。

4）sklearn.metrics：用于评估机器学习模型的性能，mean_squared_log_error 用于计算均方对数误差，mean_absolute_error 用于计算平均绝对误差。

5）tqdm：用于显示循环进度条的库，常用于数据处理和模型训练时的进度显示。

6）sys：提供了一些与 Python 解释器和其环境相关的函数和变量，常用于访问命令行参数、标准输入输出、退出程序等操作。

7）os：提供了与操作系统进行交互的功能，常用于文件和目录操作、环境变量访问等。

8）gc：提供了对垃圾回收的接口，用于手动管理内存，特别是在处理大数据集时显式调用垃圾回收器释放内存。

9）argparse：用于解析命令行参数和选项。

10）warnings：用于控制程序中警告信息的显示，常用于抑制不必要的警告。

2.历史平移特征：

for i in range(10, 30):
    data[f'last{i}_target'] = data.groupby(['id'])['target'].shift(i)

为每个id创建历史目标值的平移特征，范围为10-29个时间单位之前的目标值，即原有dt+i对应的target赋值给last{i}_target列

3.窗口统计特征：

data[f'win3_mean_target'] = (data['last10_target'] + data['last11_target'] + data['last12_target']) / 3

计算每一个id对应的dt10、11、12个时间单位之前的目标均值作为窗口统计特征

4.LightGBM参数设置：

lgb_params = {
    'boosting_type': 'gbdt',  # 指定提升类型，gbdt表示梯度提升树
    'objective': 'regression', # 定义学习任务和相应的目标函数，regression为回归问题
    'metric': 'mse', # 评价指标，MSE表示均方误差
    'min_child_weight': 5, # 叶子节点所需的最小样本权重（防止过拟合）
    'num_leaves': 2 ** 5, # 叶子节点的数量，较大值可能导致过拟合。
    'lambda_l2': 10, # L2 正则化强度，用于防止过拟合
    'feature_fraction': 0.8, # 在每次迭代中随机选择的特征比例
    'bagging_fraction': 0.8, # 每次迭代中用于训练的数据比例
    'bagging_freq': 4,
    'learning_rate': 0.05,
    'seed': 2024,
    'nthread': 16,
    'verbose': -1,
}

4.time_model函数作用：

def time_model(lgb, train_df, test_df, cols):
    trn_x, trn_y = train_df[train_df.dt >= 31][cols], train_df[train_df.dt >= 31]['target']
    val_x, val_y = train_df[train_df.dt <= 30][cols], train_df[train_df.dt <= 30]['target']
    train_matrix = lgb.Dataset(trn_x, label=trn_y)
    valid_matrix = lgb.Dataset(val_x, label=val_y)
    lgb_params = {
        'boosting_type': 'gbdt',
        'objective': 'regression',
        'metric': 'mse',
        'min_child_weight': 5,
        'num_leaves': 2 ** 5,
        'lambda_l2': 10,
        'feature_fraction': 0.8,
        'bagging_fraction': 0.8,
        'bagging_freq': 4,
        'learning_rate': 0.05,
        'seed': 2024,
        'nthread': 16,
        'verbose': -1,
    }
    model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix],
                      categorical_feature=[], early_stopping_rounds=500)
    val_pred = model.predict(val_x, num_iteration=model.best_iteration)
    test_pred = model.predict(test_df[cols], num_iteration=model.best_iteration)
    score = mean_squared_error(val_pred, val_y)
    print(score)
​
    return val_pred, test_pred

1）将数据集划分为训练集和验证集

2）构建适合 LightGBM 的输入格式

3）定义和设置模型参数

4）训练 LightGBM 模型并应用早停机制（如果在500轮迭代中验证集的分数没有改善，则提前停止训练，防止过拟合）

5）在验证集和测试集上进行预测，并输出验证集的性能评估分数

5.完整代码：

import numpy as np
import pandas as pd
import lightgbm as lgb
from sklearn.metrics import mean_squared_log_error, mean_absolute_error, mean_squared_error
import tqdm
import sys
import os
import gc
import argparse
import warnings
warnings.filterwarnings('ignore')
​
train = pd.read_csv('./data/train.csv')
test = pd.read_csv('./data/test.csv')
​
# 合并训练数据和测试数据，并进行排序
data = pd.concat([test, train], axis=0, ignore_index=True)
data = data.sort_values(['id','dt'], ascending=False).reset_index(drop=True)
​
# 历史平移
for i in range(10,30):
    data[f'last{i}_target'] = data.groupby(['id'])['target'].shift(i)
    
# 窗口统计
data[f'win3_mean_target'] = (data['last10_target'] + data['last11_target'] + data['last12_target']) / 3
​
# 进行数据切分
train = data[data.target.notnull()].reset_index(drop=True)
test = data[data.target.isnull()].reset_index(drop=True)
​
# 确定输入特征
train_cols = [f for f in data.columns if f not in ['id','target']]
​
def time_model(lgb, train_df, test_df, cols):
    # 训练集和验证集切分
    trn_x, trn_y = train_df[train_df.dt>=31][cols], train_df[train_df.dt>=31]['target']
    val_x, val_y = train_df[train_df.dt<=30][cols], train_df[train_df.dt<=30]['target']
    # 构建模型输入数据
    train_matrix = lgb.Dataset(trn_x, label=trn_y)
    valid_matrix = lgb.Dataset(val_x, label=val_y)
    # lightgbm参数
    lgb_params = {
        'boosting_type': 'gbdt',
        'objective': 'regression',
        'metric': 'mse',
        'min_child_weight': 5,
        'num_leaves': 2 ** 5,
        'lambda_l2': 10,
        'feature_fraction': 0.8,
        'bagging_fraction': 0.8,
        'bagging_freq': 4,
        'learning_rate': 0.05,
        'seed': 2024,
        'nthread' : 16,
        'verbose' : -1,
    }
    # 训练模型
    model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], 
                      categorical_feature=[], verbose_eval=500, early_stopping_rounds=500)
    # 验证集和测试集结果预测
    val_pred = model.predict(val_x, num_iteration=model.best_iteration)
    test_pred = model.predict(test_df[cols], num_iteration=model.best_iteration)
    # 离线分数评估
    score = mean_squared_error(val_pred, val_y)
    print(score)
       
    return val_pred, test_pred
    
lgb_oof, lgb_test = time_model(lgb, train, test, train_cols)
​
# 保存结果文件到本地
test['target'] = lgb_test
test[['id','dt','target']].to_csv('submit.csv', index=None)

 

6.心得：

        本来想在本地跑跑的，结果lightgbm一直装不好，装的openMP不支持安装lightgbm3.3.0的版本似乎，想降级openMP失败哈哈，伤心，还好有paddle嘿嘿。。lightgbm模型的相关知识后面还是需要自己在补充学习一下，现在只是大概知道了它是梯地提升的决策树模型，训练速度更快效率更高。