Task1：了解机器学习 & 理解赛题
1.报名赛事
赛事链接：2024 iFLYTEK A.I.开发者大赛-讯飞开放平台 (xfyun.cn)
报名赛事部分不过多介绍，赛事页面中的赛题概要我们可以了解到该比赛需要我们做什么。
2.下载赛题数据
在赛事链接页面的“赛题数据”中，我们可以下载电力需求预测挑战赛数据集.zip
3.baselin体验
项目链接：从零入门机器学习竞赛-Baseline - 飞桨AI Studio星河社区 (baidu.com)
登录之后，启动环境并完善信息
选择运行环境
环境启动之后，进入环境
进入环境之后，我们看到，这就是一个可以白嫖的算力平台，可以在这里借助平台的算力，跑自己的代码，与魔塔社区有点类似。（见下列文章）
从零入门NLP竞赛--基于术语词典干预的机器翻译挑战赛#AI夏令营 #Datawhale #夏令营-CSDN博客
在这个环境中，开源贡献者已经将比赛的数据、模型的代码都封装到项目中，我们在先前运行该项目的时候，该项目已经自动拷贝到我们自己账号的项目中了，我们只需要运行该项目即可。
点击图中所示的按钮，运行全部的cell
不到一分钟，跑通了所有的代码，并且获得了submit.csv文件，点击右键，下载该csv文件即可。
3.提交文件
回到比赛页面，点击左边栏“提交结果”，将刚才模型运行结果的csv文件提交到该比赛平台。
点击提交之后，会提示上传成功。评测需要2-3分钟，即可得到此次提交结果的评分。
依靠开源贡献者的模型，我运行测试跑出来的结构评分为373.89846。至此，完成了比赛的一个完整流程，我们也学会了复现他人的代码，并学会了使用在线的算力平台。
🎉恭喜你完成了第一阶段的学习与测评，拿下了属于自己的第一个分数！
Task2：入门lightgbm，开始特征工程
1.进阶思路
传统思路：
回归预测的常规思路是使用机器学习模型（如LightGBM、XGBBoost、神经网络），但模型搭建比较复杂，需要自己构建模型结构，对数值数据进行标准化处理。
解决方案：
使用机器学习模型解决，模型简单、不需要过多的预处理。
三个方向：数据获取&增强、特征提取、模型
步骤：探索性数据分析、数据预处理、提取特征、切分训练集与验证集、训练模型、预测结果。
2.基础概念
GBDT（梯度提升树）
GBDT(Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。
GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle（国际级数据科学和机器学习平台，2017 年被 Google 收购，现为 Google Cloud 的一部分。）上的比赛有一半以上的冠军方案都是基于GBDT。
LightGBM
LightGBM（Light Gradient Boosting Machine）是一个实现GBDT算法的框架，支持高效率的并行训练，并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。
LightGBM 框架中还包括随机森林和逻辑回归等模型。通常应用于二分类、多分类和排序等场景。
LightGBM中文文档：LightGBM 中文文档
LightGBM相关blog：机器学习—LightGBM的原理、优化以及优缺点_lightgbm优缺点-CSDN博客
3.进阶代码
导入模块
import numpy as np
import pandas as pd
import lightgbm as lgb
from sklearn.metrics import mean_squared_log_error, mean_absolute_error, mean_squared_error
import tqdm
import sys
import os
import gc
import argparse
import warnings
warnings.filterwarnings('ignore')探索性数据分析（EDA）
# 2. 读取训练集和测试集
# 使用 read_csv() 函数从文件中读取训练集数据，文件名为 'train.csv'
train = pd.read_csv('../dataset/train.csv')
# 使用 read_csv() 函数从文件中读取测试集数据，文件名为 'train.csv'
test = pd.read_csv('../dataset/test.csv')
数据简介：
-
其中id为房屋id，
-
dt为日标识，训练数据dt最小为11，不同id对应序列长度不同；
-
type为房屋类型，通常而言不同类型的房屋整体消耗存在比较大的差异；
-
target为实际电力消耗，也是我们的本次比赛的预测目标。
数据可视化
def eda(train):
import matplotlib.pyplot as plt
# 不同type类型对应target的柱状图
type_target_df = train.groupby('type')['target'].mean().reset_index()
plt.figure(figsize=(8, 4))
plt.bar(type_target_df['type'], type_target_df['target'], color=['blue', 'green'])
plt.xlabel('Type')
plt.ylabel('Average Target Value')
plt.title('Bar Chart of Target by Type')
plt.show()
specific_id_df = train[train['id'] == '00037f39cf']
plt.figure(figsize=(10, 5))
plt.plot(specific_id_df['dt'], specific_id_df['target'], marker='o', linestyle='-')
plt.xlabel('DateTime')
plt.ylabel('Target Value')
plt.title("Line Chart of Target for ID '00037f39cf'")
plt.show()plt1：不同type类型对应target的柱状图
plt2：id为00037f39cf的按dt为序列关于target的折线图
特征工程
根据相关文献调查，下面主要介绍了时序预测模型的两类特征构造：
历史平移特征 和 窗口统计特征。
-
历史平移特征：通过历史平移获取上个阶段的信息；如下图所示，可以将d-1时间的信息给到d时间，d时间信息给到d+1时间，这样就实现了平移一个单位的特征构建。
-
窗口统计特征：窗口统计可以构建不同的窗口大小，然后基于窗口范围进统计均值、最大值、最小值、中位数、方差的信息，可以反映最近阶段数据的变化情况。如下图所示，可以将d时刻之前的三个时间单位的信息进行统计构建特征赋予d时刻。
代码如下：根据赛题数据，统计10-30天的历史特征。
# 合并训练数据和测试数据，并进行排序
data = pd.concat([test, train], axis=0, ignore_index=True)
data = data.sort_values(['id','dt'], ascending=False).reset_index(drop=True)
# 历史平移
for i in range(10, 30):
data[f'last{i}_target'] = data.groupby(['id'])['target'].shift(i)
# 窗口统计
data[f'win3_mean_target'] = (data['last10_target'] + data['last11_target'] + data['last12_target']) / 3
# 进行数据切分
train = data[data.target.notnull()].reset_index(drop=True)
test = data[data.target.isnull()].reset_index(drop=True)
# 确定输入特征
train_cols = [f for f in data.columns if f not in ['id', 'target']]模型训练与测试集预测
Lightgbm模型常作为数据挖掘比赛的基线模型，在不需要过程调参的情况的也能得到比较稳定的分数。（当然根据不同赛题的实际情况，对模型进行调参会取得更好的数据结果）
*需要注意的训练集和验证集的构建：因为数据存在时序关系，所以需要严格按照时序进行切分
-
为了保证比赛的公平性，将每日日期进行脱敏，用1-N进行标识，即1为数据集最近一天，其中1-10为测试集数据。
-
题目中没有给出用于调参的验证集，一般会选择K折交叉验证的方式进行模型调参，但是这里选择原始给出训练数据集中dt为30之后的数据作为训练数据，之前的数据作为验证数据。
-
这样保证了数据不存在穿越问题（不使用未来数据预测历史数据）。
def time_model(lgb, train_df, test_df, cols):
# 训练集和验证集切分
trn_x, trn_y = train_df[train_df.dt >= 31][cols], train_df[train_df.dt >= 31]['target']
val_x, val_y = train_df[train_df.dt <= 30][cols], train_df[train_df.dt <= 30]['target']
# 构建模型输入数据
train_matrix = lgb.Dataset(trn_x, label=trn_y)
valid_matrix = lgb.Dataset(val_x, label=val_y)
# lightgbm参数
lgb_params = {
'boosting_type': 'gbdt',
'objective': 'regression',
'metric': 'mse',
'min_child_weight': 5,
'num_leaves': 2 ** 5,
'lambda_l2': 10,
'feature_fraction': 0.8,
'bagging_fraction': 0.8,
'bagging_freq': 4,
'learning_rate': 0.05,
'seed': 2024,
'nthread': 16,
'verbose': -1,
}
# 导入回调函数
from lightgbm import early_stopping, log_evaluation
# 训练模型
model = lgb.train(lgb_params, train_matrix, 50000, valid_sets=[train_matrix, valid_matrix],
categorical_feature=[], callbacks=[log_evaluation(500), early_stopping(500)])
# 验证集和测试集结果预测
val_pred = model.predict(val_x, num_iteration=model.best_iteration)
test_pred = model.predict(test_df[cols], num_iteration=model.best_iteration)
# 离线分数评估
score = mean_squared_error(val_pred, val_y)
print(score)
return val_pred, test_pred
lgb_oof, lgb_test = time_model(lgb, train, test, train_cols)
# 保存结果文件到本地
test['target'] = lgb_test
test[['id', 'dt', 'target']].to_csv('submit.csv', index=None)
4.复盘总结
在刚才，我们使用lightgbm完成了基本的模型训练，并且添加了时序问题中常见的特征提取方式，
通过特征工程挖掘特征可以很快的提升模型预测效果，这也是数据挖掘比赛中的主要优化方向，很多情况下会决定最终的成绩。
在现有方案的基础上不断的改造与尝试，通过不断的实践来提升自己的数据挖掘能力
🎉🎉恭喜你入门了机器学习模型的使用，学习了新的模型，并提高了预测分数！
Task3：尝试使用深度学习方案
1.时间序列预测特征提取和分析方法
在进行时间序列分析时，特征提取是一个至关重要的步骤，因为它直接影响到模型的性能。以下是关键特征提取和分析方式的详细介绍：
-
日期变量：时间序列数据通常包含日期或时间信息。这可以细分为不同的时间尺度，如年、月、周、日、小时、分钟等。在特征提取时，可以将这些日期变量转换为数值型特征，以便于模型处理。
-
周期性：许多时间序列数据表现出周期性，例如，一天中的小时数、一周中的天数、一年中的月份等。识别并利用这些周期性特征可以帮助模型捕捉数据的内在规律。
-
趋势性：趋势性是指时间序列数据随时间推移呈现的上升或下降的总体模式。这可以通过诸如移动平均或线性回归等方法来提取，并作为特征输入模型。
-
距离某天的时间差：这涉及到从特定日期（如产品发布日、重要事件日等）计算时间差。这种特征可以帮助模型了解数据点与特定事件的相对位置。
-
时间特征组合：将不同的时间单位组合起来（如年和周、月和日）可以提供更丰富的时间上下文信息，有助于揭示数据中的复杂模式。
-
特殊日期：识别时间序列中的特殊日期或事件（如节假日、促销活动等）并将其作为特征，可以帮助模型解释与这些事件相关的数据波动。
-
异常点：时间序列中可能存在异常点，这些点与其他数据点显著不同。正确识别并处理这些异常点对于提高预测精度至关重要。
-
时序相关特征：
-
历史平移：将过去的值作为当前值的函数，例如，使用前一天的值来预测后一天的值。
-
滑窗统计：使用时间窗口内的统计数据（如平均值、中位数、标准差等）作为特征，这有助于捕捉局部时间范围内的数据特性。
-
-
强相关特征：识别与目标变量强烈相关的特征，并利用这些特征来构建预测模型。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
