Datawhale Al夏令营 机器学习

一、task1->task2进阶思路

模型变化：

经验模型->机器学习模型

简述一下两者的区别：

机器学习模型侧重于从数据中学习和泛化，而经验模型则侧重于利用已知的规则或专家知识进行建模。选择使用哪种类型的模型取决于问题的性质、可用数据量以及模型对精确性和泛化能力的要求。

二、部分概念知识

1、机器学习方法的步骤

探索性数据分析、数据预处理、提取特征、切分训练集与验证集、训练模型、预测结果。

2、模型与框架

GBDT

GBDT是一种集成学习方法，它通过迭代训练决策树来减小预测误差。GBDT模型的基本工作原理是通过串行训练一组CART回归树，每一棵新树都拟合当前损失函数的负梯度方向，最终将所有回归树的预测结果加和。也就是通过迭代实现最佳模型。

LightGBM

LightGBM则是GBDT的框架，其中的一种原理就是通过将数据放入直方图中，寻找最佳切割点。具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。

三、代码部分解析（基于给出的task2)

1、首先是给出的导入模块：

在写入导入模块之前有一个关键的步骤，我们需要先将安装包下载，使用pip install lightgbm即可，但是要注意的是需要提前下，所以可以开另一个cell来写这句。

2、探索性数据分析

前面这句是task2中给出的，其实就是获取到测试集等文件的位置，但是由于文件的路径可能不同所以会做出部分修改。比如下图所示：

3、模型训练和测试集预测

在这一步其实出现过问题，在他们给出的代码部分是 model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], categorical_feature=[], verbose_eval=500, early_stopping_rounds=500)，当时爆出以下错误，

后来改成model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], categorical_feature=[], callbacks=[lgb.early_stopping(500), lgb.log_evaluation(500)])   就行了，

这两句代码的主要区别在于第一句使用了 callbacks 参数来设置回调函数，而第二句则采用了更直接的方法，通过设置单独的参数来控制训练过程中的一些行为（如打印信息间隔和提前停止轮数）。（此处为猜测）

4、在此处给出完整修改后可以正确运行的代码：

pip install lightgbm（单独开）

import numpy as np

import pandas as pd

import lightgbm as lgb

from sklearn.metrics import mean_squared_log_error, mean_absolute_error, mean_squared_error

import tqdm

import sys

import os

import gc

import argparse

import warnings

warnings.filterwarnings('ignore')

train = pd.read_csv('./data/data283931/train.csv')

test = pd.read_csv('./data/data283931/test.csv')

import matplotlib.pyplot as plt

# 不同type类型对应target的柱状图

type_target_df = train.groupby('type')['target'].mean().reset_index()

plt.figure(figsize=(8, 4))

plt.bar(type_target_df['type'], type_target_df['target'], color=['blue', 'green'])

plt.xlabel('Type')

plt.ylabel('Average Target Value')

plt.title('Bar Chart of Target by Type')

plt.show()

specific_id_df = train[train['id'] == '00037f39cf']

plt.figure(figsize=(10, 5))

plt.plot(specific_id_df['dt'], specific_id_df['target'], marker='o', linestyle='-')

plt.xlabel('DateTime')

plt.ylabel('Target Value')

plt.title("Line Chart of Target for ID '00037f39cf'")

plt.show()

# 合并训练数据和测试数据，并进行排序

data = pd.concat([test, train], axis=0, ignore_index=True)

data = data.sort_values(['id','dt'], ascending=False).reset_index(drop=True)

# 历史平移

for i in range(10,30):

    data[f'last{i}_target'] = data.groupby(['id'])['target'].shift(i)

   

# 窗口统计

data[f'win3_mean_target'] = (data['last10_target'] + data['last11_target'] + data['last12_target']) / 3

# 进行数据切分

train = data[data.target.notnull()].reset_index(drop=True)

test = data[data.target.isnull()].reset_index(drop=True)

# 确定输入特征

train_cols = [f for f in data.columns if f not in ['id','target']]

def time_model(lgb, train_df, test_df, cols):

    # 训练集和验证集切分

    trn_x, trn_y = train_df[train_df.dt>=31][cols], train_df[train_df.dt>=31]['target']

    val_x, val_y = train_df[train_df.dt<=30][cols], train_df[train_df.dt<=30]['target']

    # 构建模型输入数据

    train_matrix = lgb.Dataset(trn_x, label=trn_y)

    valid_matrix = lgb.Dataset(val_x, label=val_y)

    # lightgbm参数

    lgb_params = {

        'boosting_type': 'gbdt',

        'objective': 'regression',

        'metric': 'mse',

        'min_child_weight': 5,

        'num_leaves': 2 ** 5,

        'lambda_l2': 10,

        'feature_fraction': 0.8,

        'bagging_fraction': 0.8,

        'bagging_freq': 4,

        'learning_rate': 0.05,

        'seed': 2024,

        'nthread' : 16,

        'verbose' : -1,

    }

    # 训练模型

    model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix], categorical_feature=[], callbacks=[lgb.early_stopping(500), lgb.log_evaluation(500)])

    # 验证集和测试集结果预测

    val_pred = model.predict(val_x, num_iteration=model.best_iteration)

    test_pred = model.predict(test_df[cols], num_iteration=model.best_iteration)

    # 离线分数评估

    score = mean_squared_error(val_pred, val_y)

    print(score)

       

    return val_pred, test_pred

   

lgb_oof, lgb_test = time_model(lgb, train, test, train_cols)

# 保存结果文件到本地

test['target'] = lgb_test

test[['id','dt','target']].to_csv('submit.csv', index=None)

四、总结部分

其实整个代码是python语言的，对于没有学过python可能还是有难度的(like me)，但是task2部分也懂了很多，包括问题也解答的很好，分数也好了很多，还是很有帮助的。