一、task1->task2进阶思路
模型变化:
经验模型->机器学习模型
简述一下两者的区别:
机器学习模型侧重于从数据中学习和泛化,而经验模型则侧重于利用已知的规则或专家知识进行建模。选择使用哪种类型的模型取决于问题的性质、可用数据量以及模型对精确性和泛化能力的要求。
二、部分概念知识
1、机器学习方法的步骤
探索性数据分析、数据预处理、提取特征、切分训练集与验证集、训练模型、预测结果。
2、模型与框架
GBDT
GBDT是一种集成学习方法,它通过迭代训练决策树来减小预测误差。GBDT模型的基本工作原理是通过串行训练一组CART回归树,每一棵新树都拟合当前损失函数的负梯度方向,最终将所有回归树的预测结果加和。也就是通过迭代实现最佳模型。
LightGBM
LightGBM则是GBDT的框架,其中的一种原理就是通过将数据放入直方图中,寻找最佳切割点。具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。
三、代码部分解析(基于给出的task2)
1、首先是给出的导入模块:
在写入导入模块之前有一个关键的步骤,我们需要先将安装包下载,使用pip install lightgbm即可,但是要注意的是需要提前下,所以可以开另一个cell来写这句。
2、探索性数据分析
前面这句是task2中给出的,其实就是获取到测试集等文件的位置,但是由于文件的路径可能不同所以会做出部分修改。比如下图所示:
3、模型训练和测试集预测
在这一步其实出现过问题,在他们给出的代码部分是 model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], categorical_feature=[], verbose_eval=500, early_stopping_rounds=500),当时爆出以下错误,
后来改成model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], categorical_feature=[], callbacks=[lgb.early_stopping(500), lgb.log_evaluation(500)]) 就行了,
这两句代码的主要区别在于第一句使用了 callbacks 参数来设置回调函数,而第二句则采用了更直接的方法,通过设置单独的参数来控制训练过程中的一些行为(如打印信息间隔和提前停止轮数)。(此处为猜测)
4、在此处给出完整修改后可以正确运行的代码:
pip install lightgbm(单独开)
import numpy as np
import pandas as pd
import lightgbm as lgb
from sklearn.metrics import mean_squared_log_error, mean_absolute_error, mean_squared_error
import tqdm
import sys
import os
import gc
import argparse
import warnings
warnings.filterwarnings('ignore')
train = pd.read_csv('./data/data283931/train.csv')
test = pd.read_csv('./data/data283931/test.csv')
import matplotlib.pyplot as plt
# 不同type类型对应target的柱状图
type_target_df = train.groupby('type')['target'].mean().reset_index()
plt.figure(figsize=(8, 4))
plt.bar(type_target_df['type'], type_target_df['target'], color=['blue', 'green'])
plt.xlabel('Type')
plt.ylabel('Average Target Value')
plt.title('Bar Chart of Target by Type')
plt.show()
specific_id_df = train[train['id'] == '00037f39cf']
plt.figure(figsize=(10, 5))
plt.plot(specific_id_df['dt'], specific_id_df['target'], marker='o', linestyle='-')
plt.xlabel('DateTime')
plt.ylabel('Target Value')
plt.title("Line Chart of Target for ID '00037f39cf'")
plt.show()
# 合并训练数据和测试数据,并进行排序
data = pd.concat([test, train], axis=0, ignore_index=True)
data = data.sort_values(['id','dt'], ascending=False).reset_index(drop=True)
# 历史平移
for i in range(10,30):
data[f'last{i}_target'] = data.groupby(['id'])['target'].shift(i)
# 窗口统计
data[f'win3_mean_target'] = (data['last10_target'] + data['last11_target'] + data['last12_target']) / 3
# 进行数据切分
train = data[data.target.notnull()].reset_index(drop=True)
test = data[data.target.isnull()].reset_index(drop=True)
# 确定输入特征
train_cols = [f for f in data.columns if f not in ['id','target']]
def time_model(lgb, train_df, test_df, cols):
# 训练集和验证集切分
trn_x, trn_y = train_df[train_df.dt>=31][cols], train_df[train_df.dt>=31]['target']
val_x, val_y = train_df[train_df.dt<=30][cols], train_df[train_df.dt<=30]['target']
# 构建模型输入数据
train_matrix = lgb.Dataset(trn_x, label=trn_y)
valid_matrix = lgb.Dataset(val_x, label=val_y)
# lightgbm参数
lgb_params = {
'boosting_type': 'gbdt',
'objective': 'regression',
'metric': 'mse',
'min_child_weight': 5,
'num_leaves': 2 ** 5,
'lambda_l2': 10,
'feature_fraction': 0.8,
'bagging_fraction': 0.8,
'bagging_freq': 4,
'learning_rate': 0.05,
'seed': 2024,
'nthread' : 16,
'verbose' : -1,
}
# 训练模型
model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], categorical_feature=[], callbacks=[lgb.early_stopping(500), lgb.log_evaluation(500)])
# 验证集和测试集结果预测
val_pred = model.predict(val_x, num_iteration=model.best_iteration)
test_pred = model.predict(test_df[cols], num_iteration=model.best_iteration)
# 离线分数评估
score = mean_squared_error(val_pred, val_y)
print(score)
return val_pred, test_pred
lgb_oof, lgb_test = time_model(lgb, train, test, train_cols)
# 保存结果文件到本地
test['target'] = lgb_test
test[['id','dt','target']].to_csv('submit.csv', index=None)
四、总结部分
其实整个代码是python语言的,对于没有学过python可能还是有难度的(like me),但是task2部分也懂了很多,包括问题也解答的很好,分数也好了很多,还是很有帮助的。