Datawhale AI 夏令营 Task2笔记

数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。 

在Task1中，我学习并使用基于经验模型（使用均值作为结果数据）来解决问题。这种预测方式简便，但是结果准确性有待提高。于是我学习了Task2，这次我基于机器学习模型解决本次问题。

使用机器学习方法的三个方面：获取数据&增强、特征提取和模型

使用机器学习方法的步骤：探索性数据分析、数据预处理、提取特征、切分训练集与验证集、训练模型、预测结果。

1、导入模块：

首先导入了warnings模块用于忽略警告，numpy用于数值计算，pandas用于数据处理，lightgbm是LightGBM模型的实现库。

import numpy as np
import pandas as pd
import lightgbm as lgb
from sklearn.metrics import mean_squared_log_error, mean_absolute_error, mean_squared_error
import tqdm
import sys
import os
import gc
import argparse
import warnings
warnings.filterwarnings('ignore')

2、探索性数据分析

 读取训练集和测试集

train = pd.read_csv('train.csv’) # 读取训练集
test = pd.read_csv('test.csv') # 读取测试集

数据读取：使用pd.read_csv读取了两个CSV文件，分别是训练集train.csv和测试集test.csv。

数据含义：

Id：房屋id

Dt：日标识

Type：房屋类型

Target：实际电力消耗

 可视化分析：

柱状图：

import matplotlib.pyplot as plt # 引用模块
# 不同type类型对应target的柱状图
type_target_df = train.groupby('type')['target'].mean().reset_index()
plt.figure(figsize=(8, 4))
plt.bar(type_target_df['type'], type_target_df['target'], color=['blue', 'green'])
plt.xlabel('Type')
plt.ylabel('Average Target Value')
plt.title('Bar Chart of Target by Type')
plt.show()

结果：

分析了训练集中不同类型（'type'列）的目标值（'target'列）的平均值，并通过柱状图展示

折线图：

specific_id_df = train[train['id'] == '00037f39cf']
plt.figure(figsize=(10, 5))
plt.plot(specific_id_df['dt'], specific_id_df['target'], marker='o', linestyle='-')
plt.xlabel('DateTime')
plt.ylabel('Target Value')
plt.title("Line Chart of Target for ID '00037f39cf'")
plt.show()

结果：

选取了特定ID（'00037f39cf'）的数据，绘制了该ID在时间序列上目标值的折线图

3、特征工程

主要构建了历史平移特征和窗口统计特征

历史平移特征：通过历史平移获取上个阶段的信息；如下图所示，可以将d-1时间的信息给到d时间，d时间信息给到d+1时间，这样就实现了平移一个单位的特征构建。
窗口平移特征：窗口统计可以构建不同的窗口大小，然后基于窗口范围进统计均值、最大值、最小值、中位数、方差的信息，可以反映最近阶段数据的变化情况。如下图所示，可以将d时刻之前的三个时间单位的信息进行统计构建特征给我d时刻。

# 合并训练数据和测试数据，并进行排序
data = pd.concat([test, train], axis=0, ignore_index=True)
data = data.sort_values(['id','dt'], ascending=False).reset_index(drop=True)

• 使用pd.concat函数将测试数据test和训练数据train按行(axis=0)合并为一个数据集data，忽略索引(ignore_index=True)重新索引
• 使用sort_values方法，按照'id'和'dt'列进行降序排序
• 使用reset_index方法重置索引，丢弃原来的索引，并在原地修改data

# 历史平移
for i in range(10,30):
    data[f'last{i}_target'] = data.groupby(['id'])['target'].shift(i)

• 对于每一个从10到29的整数i，创建一个新的列last{i}_target
• 对数据集data按'id'分组，然后对每个组（每个'id'）的'target'列进行历史平移操作，平移量为i，即将每个'id'的目标值向前平移i个时间步长
• 新创建的列将包含每个'id'对应时间步长为i的目标值

# 窗口统计
data[f'win3_mean_target'] = (data['last10_target'] + data['last11_target'] + data['last12_target']) / 3

• 创建一个新的列win3_mean_target，计算了last10_target、last11_target和last12_target三列的均值
• 窗口统计特征可以帮助捕捉目标值在不同时间窗口内的变化趋势

# 进行数据切分
train = data[data.target.notnull()].reset_index(drop=True)
test = data[data.target.isnull()].reset_index(drop=True)

• 根据'target'列是否为空值，将数据集data划分为训练集train和测试集test
• train包含所有目标值不为空的数据行，test包含所有目标值为空的数据行
• 使用reset_index方法重新设置索引，并丢弃原来的索引

# 确定输入特征
train_cols = [f for f in data.columns if f not in ['id','target']]

• 创建一个列表train_cols，其中包含所有数据集data中除了'id'和'target'之外的列
• 这些列将被用作模型训练的输入特征

4、模型训练与测试集预测

使用Lightgbm模型

选择原始给出训练数据集中dt为30之后的数据作为训练数据，之前的数据作为验证数据

保证了数据不存在穿越问题（不使用未来数据预测历史数据）

def time_model(lgb, train_df, test_df, cols):
    # 训练集和验证集切分
    trn_x, trn_y = train_df[train_df.dt>=31][cols], train_df[train_df.dt>=31]['target']
    val_x, val_y = train_df[train_df.dt<=30][cols], train_df[train_df.dt<=30]['target']
    # 构建模型输入数据
    train_matrix = lgb.Dataset(trn_x, label=trn_y)
    valid_matrix = lgb.Dataset(val_x, label=val_y)
    # lightgbm参数
    lgb_params = {
        'boosting_type': 'gbdt',
        'objective': 'regression',
        'metric': 'mse',
        'min_child_weight': 5,
        'num_leaves': 2 ** 5,
        'lambda_l2': 10,
        'feature_fraction': 0.8,
        'bagging_fraction': 0.8,
        'bagging_freq': 4,
        'learning_rate': 0.05,
        'seed': 2024,
        'nthread' : 16,
        'verbose' : -1,
    }
    # 训练模型
    model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], 
                      categorical_feature=[], verbose_eval=500, early_stopping_rounds=500)
    # 验证集和测试集结果预测
    val_pred = model.predict(val_x, num_iteration=model.best_iteration)
    test_pred = model.predict(test_df[cols], num_iteration=model.best_iteration)
    # 离线分数评估
    score = mean_squared_error(val_pred, val_y)
    print(score)
       
    return val_pred, test_pred
    
lgb_oof, lgb_test = time_model(lgb, train, test, train_cols)

# 保存结果文件到本地
test['target'] = lgb_test
test[['id','dt','target']].to_csv('submit.csv', index=None)

最终结果：

5、优化方向

1.特征工程的进一步优化：更多的历史特征：可以尝试生成更多不同时间窗口的历史特征，而不仅限于当前实现的10到29个时间点。
更复杂的统计特征：除了简单的均值计算，可以尝试其他统计量如最大值、最小值、标准差等，或者使用滑动窗口技术（如rolling函数）计算这些统计量。

2.模型调参：
Grid Search和Random Search：尝试使用网格搜索或随机搜索来调整LightGBM模型的超参数，如学习率、树的深度、叶子节点数等，以进一步提升模型的性能。
集成方法：考虑使用集成学习方法，如XGBoost、CatBoost等，或者使用模型堆叠（stacking）技术，结合多个模型的预测结果来提升准确性。

3.数据处理和准备的优化：
缺失值处理：检查并处理数据中的缺失值，可以尝试使用填充方法或者更复杂的插值技术。
数据归一化或标准化：根据模型的要求，对数据进行归一化或标准化，确保模型训练的稳定性和效果。

4.模型评估和验证的改进：
交叉验证策略：考虑使用更复杂的交叉验证策略，如时间序列交叉验证或者分组交叉验证，以更准确地评估模型的泛化能力。
更多的评估指标：除了均方误差（MSE），可以尝试使用其他评估指标如平均绝对误差（MAE）、平均绝对百分比误差（MAPE）等，综合评估模型的表现。

5.代码结构和效率优化：
代码重构：根据需要，对代码进行重构以提高可读性和维护性。
内存管理：考虑在处理大数据集时优化内存使用，避免不必要的数据复制或加载。

6、调整优化

将原代码作为基准进行调整优化。由于平台上一次只能提交三次，我使用python返回的分数作为基准，进行比较，可能会与平台测试结果有些误差。

1、调整LightGBM参数

可以调整叶节点个数、正则化系数，决策树深度等多方面参数。

学习率调整：0.05→0.01

较小的学习率通常会有更好的性能，但需要更多的迭代次数

效率有提升

但是平台分数反而不行

2、调整训练迭代输出间隔

最大训练迭代次数为50000次

初始为verbose_eval=500, early_stopping_rounds=500

每500轮输出训练信息，如果500轮内验证集的评估指标没有提升，则停止训练。

early_stopping_rounds  500→1000

没有什么太大的影响……

3、特征优化

历史平移特征：通过历史平移获取上个阶段的信息

差分特征：可以帮助获取相邻阶段的增长差异，描述数据的涨减变化情况。在此基础上还可以构建相邻数据比值变化、二阶差分等

窗口统计特征：窗口统计可以构建不同的窗口大小，然后基于窗口范围进统计均值、最大值、最小值、中位数、方差的信息，可以反映最近阶段数据的变化情况

# 合并训练数据和测试数据
data = pd.concat([train, test], axis=0).reset_index(drop=True)
data = data.sort_values(['id','dt'], ascending=False).reset_index(drop=True)

# 历史平移
for i in range(10,36):
    data[f'target_shift{i}'] = data.groupby('id')['target'].shift(i)

# 历史平移 + 差分特征
for i in range(1,4):
    data[f'target_shift10_diff{i}'] = data.groupby('id')['target_shift10'].diff(i)
    
# 窗口统计
for win in [15,30,50,70]:
    data[f'target_win{win}_mean'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').mean().values
    data[f'target_win{win}_max'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').max().values
    data[f'target_win{win}_min'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').min().values
    data[f'target_win{win}_std'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').std().values

# 历史平移 + 窗口统计
for win in [7,14,28,35,50,70]:
    data[f'target_shift10_win{win}_mean'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').mean().values
    data[f'target_shift10_win{win}_max'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').max().values
    data[f'target_shift10_win{win}_min'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').min().values
    data[f'target_shift10_win{win}_sum'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').sum().values
    data[f'target_shift710win{win}_std'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').std().values

看上去很不错

比赛平台试一下

太棒了，也是成功提高了……1.3分！

有进步就行