【Datawhale AI 夏令营】入门lightgbm及特征工程进行实践

1. LightGBM简介

LightGBM（Light Gradient Boosting Machine）是由微软公司开发的一种基于决策树算法的分布式梯度提升框架，具有以下几个显著优点：

• 高效率：由于基于直方算法的决策树学习，LightGBM在训练速度和内存占用方面都优于其他实现。
• 快速训练速度：支持基于Histogram的决策树学习，并且在数据预排序的情况下速度更快。
• 高精度：由于支持基于Leaf-wise的叶节点生长策略，LightGBM在很多比赛和实际项目中都表现出很高的精度。
• 支持并行学习：能够进行数据并行和特征并行，从而提升训练速度。

2. 导入必要的库

第一步操作当然是导入必要的库文件，相关库文件的一些用法在注释处标注

import numpy as np  # 导入NumPy库，用于科学计算
import pandas as pd  # 导入Pandas库，用于数据处理和分析
import lightgbm as lgb  # 导入LightGBM库，用于构建和训练梯度提升模型
from sklearn.metrics import mean_squared_log_error, mean_absolute_error, mean_squared_error  # 导入Scikit-Learn库中的评估指标
import tqdm  # 导入tqdm库，用于显示进度条
import sys  # 导入sys模块，提供与Python解释器交互的功能
import os  # 导入os模块，提供与操作系统交互的功能
import gc  # 导入gc模块，进行垃圾回收
import argparse  # 导入argparse模块，用于解析命令行参数
import warnings  # 导入warnings模块，用于控制警告信息
warnings.filterwarnings('ignore')  # 忽略所有警告信息

import matplotlib.pyplot as plt  # 导入Matplotlib库，用于数据可视化

tips:

• mean_squared_log_error 均方对数误差
• mean_absolute_error 平均绝对误差
• mean_squared_error 均方误差
• lightgbm建议安装3.3.0版本，方便后续运行 命令：pip install lightgbm==3.3.0

3. 加载数据集

使用Pandas加载训练集和测试集

train = pd.read_csv('/content/drive/MyDrive/dataset/train.csv')
test = pd.read_csv('/content/drive/MyDrive/dataset/test.csv')

训练集和测试集的作用是不同的。训练是集用于训练模型的数据集，根据特征与对应标签来找出对应模式来帮助算法优化参数。而测试集用于评估模型性能，通过测试的数据与真实预测数据来做比较，利用一些指标，进而衡量和评估模型的泛化能力。

4. 数据可视化

4.1 不同类型对应目标值的柱状图

通过柱状图展示不同类型数据的平均目标值：

# 计算不同类型的目标值的平均值
type_target_df = train.groupby('type')['target'].mean().reset_index()
plt.figure(figsize=(8, 4))
# 绘制不同类型的目标值的柱状图
plt.bar(type_target_df['type'], type_target_df['target'], color=['blue', 'green'])
plt.xlabel('Type')
plt.ylabel('Average Target Value')
# 设置图表标题
plt.title('Bar Chart of Target by Type')
plt.show()

得到的柱状图如下

4.2 特定ID的目标值折线图

展示特定ID的目标值随时间变化的折线图

# 筛选出ID为 '00037f39cf' 的数据
specific_id_df = train[train['id'] == '00037f39cf']
plt.figure(figsize=(10, 5))
# 绘制ID为 '00037f39cf' 的目标值随时间变化的折线图
plt.plot(specific_id_df['dt'], specific_id_df['target'], marker='o', linestyle='-')
plt.xlabel('DateTime')
plt.ylabel('Target Value')
plt.title("Line Chart of Target for ID '00037f39cf'")
# 格式化x轴日期时间
plt.gca().xaxis.set_major_formatter(plt.matplotlib.dates.DateFormatter('%Y-%m-%d'))
# 设置x轴刻度
plt.gca().xaxis.set_major_locator(plt.matplotlib.dates.DayLocator(interval=10))
# 添加网格线
plt.grid(True, linestyle='--', alpha=0.7)
# 显示数据点值
for i in range(len(specific_id_df)):
    plt.text(specific_id_df['dt'].iloc[i], specific_id_df['target'].iloc[i], f'{specific_id_df["target"].iloc[i]:.2f}', ha='center', va='bottom')
# 显示图表
plt.show()

得到的折线图如下

在数据分析和时间序列预测中，历史平移特征和窗口统计特征是两种有效的特征工程方法。

• 历史平移特征：这种方法通过平移前一个或多个时间点的信息到当前时间点，来捕捉时间序列数据中的滞后效应。例如，将d-1时间点的数据作为d时间点的特征，有助于模型理解前一时刻对当前时刻的影响。这种方法简单直观，能有效提高预测模型的准确性。
• 窗口统计特征：在指定窗口大小内计算历史数据的统计量（如均值、最大值、最小值等），以反映近期数据的变化情况。例如，计算d时间点前n个时间点的数据均值，可以帮助模型捕捉数据的整体趋势和波动。这种方法能够平滑噪音，提供比单一时间点更丰富的信息。

5. 特征工程

5.1 合并训练集和测试集并进行排序

将训练集和测试集合并

data = pd.concat([test, train], axis=0, ignore_index=True)
# 根据 'id' 和 'dt' 对数据进行排序，'id' 列是主键，'dt' 列是时间戳，降序排列
data = data.sort_values(['id', 'dt'], ascending=False).reset_index(drop=True)

5.2 历史平移

为每个ID创建历史目标值特征

for i in range(10, 30):
    data[f'last{i}_target'] = data.groupby(['id'])['target'].shift(i)

5.3 窗口统计

计算滑动窗口内的目标值均值

data[f'win3_mean_target'] = (data['last10_target'] + data['last11_target'] + data['last12_target']) / 3

5.4 数据切分

将处理好的数据集重新切分为训练集和测试集

train = data[data.target.notnull()].reset_index(drop=True)
test = data[data.target.isnull()].reset_index(drop=True)

5.5 确定输入特征

定义训练所需的特征列

train_cols = [f for f in data.columns if f not in ['id', 'target']]

6. 模型训练与评估

定义time_model函数，进行LightGBM模型训练和预测，由于lightgbm版本不同选择的训练模型不同，本人选择了lightgbm==3.3.0的版本

from lightgbm.callback import log_evaluation

def time_model(lgb, train_df, test_df, cols):
    # 训练集和验证集切分
    trn_x, trn_y = train_df[train_df.dt >= 31][cols], train_df[train_df.dt >= 31]['target']
    val_x, val_y = train_df[train_df.dt <= 30][cols], train_df[train_df.dt <= 30]['target']
    # 构建模型输入数据
    train_matrix = lgb.Dataset(trn_x, label=trn_y)
    valid_matrix = lgb.Dataset(val_x, label=val_y)
    # LightGBM参数
    lgb_params = {
        'boosting_type': 'gbdt',
        'objective': 'regression',
        'metric': 'mse',
        'min_child_weight': 5,
        'num_leaves': 2 ** 5,
        'lambda_l2': 10,
        'feature_fraction': 0.8,
        'bagging_fraction': 0.8,
        'bagging_freq': 4,
        'learning_rate': 0.05,
        'seed': 2024,
        'nthread': 16,
        'verbose': -1,
    }
	
	# 训练模型二者选其一，根据lightgbm版本不同，选择也不同
    # 训练模型(lightgbm版本不为3.3.0)
    model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix],
                      callbacks=[log_evaluation(period=100)])
    # 训练模型(lightgbm版本为3.3.0)
    model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], 
                      categorical_feature=[], verbose_eval=500, early_stopping_rounds=500)

    # 验证集和测试集结果预测
    val_pred = model.predict(val_x, num_iteration=model.best_iteration)
    test_pred = model.predict(test_df[cols], num_iteration=model.best_iteration)
    # 分数评估
    score = mean_squared_error(val_pred, val_y)
    print(score)

    return val_pred, test_pred

lgb_oof, lgb_test = time_model(lgb, train, test, train_cols)

7. 结果展示

将预测结果保存到本地并展示

test['target'] = lgb_test
test[['id', 'dt', 'target']].to_csv('submit.csv', index=None)

在经过训练后，得到了验证集的均方误差（MSE）为183.57，结果如图所示