Datawhale AI 夏令营——电力需求挑战赛——Task1学习笔记

        本赛题是一个典型的时间序列问题。时间序列问题是指对按时间顺序排列的数据点进行分析和预测的问题，往往用来做未来的趋势预测。比如，基于历史股票每天的股价，预测未来股票的价格走向。

        时间序列预测问题可以通过多种建模方法来解决，包括传统的时间序列模型、机器学习模型和深度学习模型。本次赛题的目标很简单清晰——【训练 时序预测模型 助力电力需求预测】。

        打开训练集，查看数据格式。

        数据集由字段id（房屋id）、 dt（日标识）、type（房屋类型）、target（实际电力消耗）组成。

        编写代码，查看训练集的数据条数。

import csv

def count_rows_in_csv(file_path):
    with open(file_path, mode='r', encoding='utf-8') as csvfile:
        # 使用csv.reader读取文件，忽略标题行
        csv_reader = csv.reader(csvfile)
        next(csv_reader)  # 跳过第一行标题
        row_count = sum(1 for row in csv_reader)
    return row_count

# 替换路径
csv_file_path = './data/data283931/train.csv'
print(f"CSV文件中的数据条数为: {count_rows_in_csv(csv_file_path)}")

         运行，查看结果。

        测试集同理。

        这里的数据量在百万级别，总共就 68.4 MB，算是比较小的数据集，训练与预测速度都很快。

        再来看看整体流程。

 1. 导入各种库

# 导入 pandas 库，用于数据处理和分析
import pandas as pd
# 导入 numpy 库，用于科学计算和多维数组操作
import numpy as np

2. 读取训练集与测试集

# 使用 read_csv() 函数从文件中读取训练集数据，文件名为 'train.csv'
train = pd.read_csv('./data/data283931/train.csv')
# 使用 read_csv() 函数从文件中读取测试集数据，文件名为 'train.csv'
test = pd.read_csv('./data/data283931/test.csv')

        11-20是编号，实际上还是第一个数据到第十个数据，编号为11-20是因为最后要把预测出来的数据集和训练集合并。 

3. 数据处理

# 计算训练数据最近11-20单位时间内对应id的目标均值
target_mean = train[train['dt']<=20].groupby(['id'])['target'].mean().reset_index()

# 将target_mean作为测试集结果进行合并
test = test.merge(target_mean, on=['id'], how='left')

4. 保存结果

# 保存结果文件到本地
test[['id','dt','target']].to_csv('submit.csv', index=None)

        很简单的流程，最关键的处理数据也只是单纯的筛选、分组、求平均、重置序号、合并。这一份 baseline 只是用来入门，明显可以优化，具体考虑增加数据处理的流程与准确性，参数的选取与加工等等。等到 Task2 时我再优化，这里做简单的分享介绍。

        将结果文件 submit.csv 文件提交到平台进行结果评估。

        这里的评估规则选择均方误差 MSE：

        该公式的结果越小，说明模型的预测效果越好。可以看出，这里的分数很大，也就是效果很差，具体优化请参考我的下一篇文章 Task2。

•  baseline项目链接：从零入门机器学习竞赛-Baseline - 飞桨AI Studio星河社区 (baidu.com)
• 我的项目：飞桨AI Studio星河社区-人工智能学习与实训社区 (baidu.com)
• 强烈建议想要 系统学习 的小伙伴，看看这个 Datawhale (linklearner.com)

• 下一期链接：Datawhale AI 夏令营——电力需求挑战赛——Task2学习笔记-CSDN博客