Datawhale Al 夏令营 task3|电力需求预测挑战赛 深度学习方法

最新推荐文章于 2024-07-21 07:50:37 发布
最新推荐文章于 2024-07-21 07:50:37 发布
阅读量800 收藏 15
点赞数 10
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_57070738/article/details/140576974
版权

1. 思路

1.1 特征工程

        原始数据数据仅仅只是当下（当前时刻/日/月）的数据，然而，对于连续时间数据来说，当前时间点的数据的产生和当前数据之前的一些数据是强相关的，特征工程的重点之一就是通过数据之间的相关性来提高数据集的质量，以便更好地进行数据的拟合和预测。

        通过历史数据平移、滑动窗口等方法，可以很好地实现特征工程。

1.2 LSTM（Long Short-Term Memory）

        长短期记忆网络（Long Short-Term Memory, LSTM）是一种特殊类型的循环神经网络（Recurrent Neural Network, RNN），旨在克服传统RNN在处理序列数据时遇到的梯度消失和梯度爆炸问题。LSTM由Sepp Hochreiter和Jürgen Schmidhuber于1997年提出，通过引入一种称为“记忆单元”的结构，使得网络能够选择性地记住或遗忘信息，从而有效捕捉长期依赖关系。

        LSTM的核心机制是其独特的门控架构，包括输入门、输出门和遗忘门。这些门通过Sigmoid激活函数控制信息的流动。具体而言，遗忘门决定哪些信息应从记忆单元中丢弃；输入门负责确定哪些新信息被存储到记忆单元中，并通过tanh函数产生候选值；输出门则控制记忆单元中的信息如何影响网络的当前输出。此外，LSTM的记忆单元使用tanh激活函数来更新和存储状态信息，这有助于保持状态的稳定性。

        这种门控机制使LSTM能够在处理时间序列数据时，根据需要调整其记忆和遗忘策略，即使在序列非常长的情况下也能保持良好的性能。因此，LSTM广泛应用于自然语言处理、语音识别、时间序列预测以及生物信息学等多个领域，尤其在处理具有复杂模式和长期依赖性的序列任务上表现出色。

参考资料：LSTM从入门到精通（形象的图解，详细的代码和注释，完美的数学推导过程）_lstm模型-CSDN博客

2. 关键代码

2.1 特征工程

# 特征工程t
train = pd.read_csv('./data/train.csv')
test = pd.read_csv('./data/test.csv')

# 合并训练数据和测试数据
data = pd.concat([train, test], axis=0).reset_index(drop=True)
data = data.sort_values(['id','dt'], ascending=False).reset_index(drop=True)

# 历史平移
for i in range(10,36):
    data[f'target_shift{i}'] = data.groupby('id')['target'].shift(i)

# 历史平移 + 差分特征
for i in range(1,4):
    data[f'target_shift10_diff{i}'] = data.groupby('id')['target_shift10'].diff(i)
    
# 窗口统计
for win in [15,30,50,70]:
    data[f'target_win{win}_mean'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').mean().values
    data[f'target_win{win}_max'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').max().values
    data[f'target_win{win}_min'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').min().values
    data[f'target_win{win}_std'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').std().values

# 历史平移 + 窗口统计
for win in [7,14,28,35,50,70]:
    data[f'target_shift10_win{win}_mean'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').mean().values
    data[f'target_shift10_win{win}_max'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').max().values
    data[f'target_shift10_win{win}_min'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').min().values
    data[f'target_shift10_win{win}_sum'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').sum().values
    data[f'target_shift710win{win}_std'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').std().values


# 进行数据切分
# drop=True意味着原始的索引将被新的从0开始的索引替代
# data.target.isnull()会生成一个布尔型的Series，其中True表示target列中的值是空的，False表示值是非空的
# test中的target数据待测 因此为空
train = data[data.target.notnull()].reset_index(drop=True)
test = data[data.target.isnull()].reset_index(drop=True)

2.2 LSTM

# 数据预处理
def preprocess_data(df, look_back=100, n_sequences=5, sequence_start=10):
    grouped = df.groupby('id')
    X, Y, OOT = [], [], []
    
    for id, group in grouped:
        data = group.values
        
        # 准备训练数据集
        for i in range(sequence_start, sequence_start + n_sequences):
            if i + look_back <= len(data):
                a = data[i:(i + look_back), 3]
                a = np.pad(a, (0, max(0, 100 - len(a))), mode='constant')
                X.append(a[::-1])
                Y.append(data[i - sequence_start:i, 3][::-1])
        
        # 准备测试数据集
        a = data[:100, 3]
        a = np.pad(a, (0, max(0, 100 - len(a))), mode='constant')
        OOT.append(a[::-1])
    
    return np.array(X, dtype=np.float64), np.array(Y, dtype=np.float64), np.array(OOT, dtype=np.float64)

# 定义模型
def build_model(look_back, n_features, n_output):
    model = Sequential([
        LSTM(50, input_shape=(look_back, n_features)),
        RepeatVector(n_output),
        LSTM(50, return_sequences=True),
        TimeDistributed(Dense(1))
    ])
    model.compile(loss='mean_squared_error', optimizer=Adam(0.001))
    return model

# 构建和训练模型
look_back = 100  # 序列长度
n_features = 1  # 假设每个时间点只有一个特征
n_output = 10  # 预测未来10个时间单位的值

# 预处理数据
X, Y, OOT = preprocess_data(train, look_back=look_back)

# 构建模型
model = build_model(look_back, n_features, n_output)

3. 完整代码

import numpy as np
import pandas as pd
from sklearn.preprocessing import MinMaxScaler
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense, RepeatVector, TimeDistributed
from tensorflow.keras.optimizers import Adam

# 特征工程t
train = pd.read_csv('./data/train.csv')
test = pd.read_csv('./data/test.csv')

# 合并训练数据和测试数据
data = pd.concat([train, test], axis=0).reset_index(drop=True)
data = data.sort_values(['id','dt'], ascending=False).reset_index(drop=True)

# 历史平移
for i in range(10,36):
    data[f'target_shift{i}'] = data.groupby('id')['target'].shift(i)

# 历史平移 + 差分特征
for i in range(1,4):
    data[f'target_shift10_diff{i}'] = data.groupby('id')['target_shift10'].diff(i)
    
# 窗口统计
for win in [15,30,50,70]:
    data[f'target_win{win}_mean'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').mean().values
    data[f'target_win{win}_max'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').max().values
    data[f'target_win{win}_min'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').min().values
    data[f'target_win{win}_std'] = data.groupby('id')['target'].rolling(window=win, min_periods=3, closed='left').std().values

# 历史平移 + 窗口统计
for win in [7,14,28,35,50,70]:
    data[f'target_shift10_win{win}_mean'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').mean().values
    data[f'target_shift10_win{win}_max'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').max().values
    data[f'target_shift10_win{win}_min'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').min().values
    data[f'target_shift10_win{win}_sum'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').sum().values
    data[f'target_shift710win{win}_std'] = data.groupby('id')['target_shift10'].rolling(window=win, min_periods=3, closed='left').std().values


# 进行数据切分
# drop=True意味着原始的索引将被新的从0开始的索引替代
# data.target.isnull()会生成一个布尔型的Series，其中True表示target列中的值是空的，False表示值是非空的
# test中的target数据待测 因此为空
train = data[data.target.notnull()].reset_index(drop=True)
test = data[data.target.isnull()].reset_index(drop=True)

# 数据预处理
def preprocess_data(df, look_back=100, n_sequences=5, sequence_start=10):
    grouped = df.groupby('id')
    X, Y, OOT = [], [], []
    
    for id, group in grouped:
        data = group.values
        
        # 准备训练数据集
        for i in range(sequence_start, sequence_start + n_sequences):
            if i + look_back <= len(data):
                a = data[i:(i + look_back), 3]
                a = np.pad(a, (0, max(0, 100 - len(a))), mode='constant')
                X.append(a[::-1])
                Y.append(data[i - sequence_start:i, 3][::-1])
        
        # 准备测试数据集
        a = data[:100, 3]
        a = np.pad(a, (0, max(0, 100 - len(a))), mode='constant')
        OOT.append(a[::-1])
    
    return np.array(X, dtype=np.float64), np.array(Y, dtype=np.float64), np.array(OOT, dtype=np.float64)

# 定义模型
def build_model(look_back, n_features, n_output):
    model = Sequential([
        LSTM(50, input_shape=(look_back, n_features)),
        RepeatVector(n_output),
        LSTM(50, return_sequences=True),
        TimeDistributed(Dense(1))
    ])
    model.compile(loss='mean_squared_error', optimizer=Adam(0.001))
    return model

# 构建和训练模型
look_back = 100  # 序列长度
n_features = 1  # 假设每个时间点只有一个特征
n_output = 10  # 预测未来10个时间单位的值

# 预处理数据
X, Y, OOT = preprocess_data(train, look_back=look_back)

# 构建模型
model = build_model(look_back, n_features, n_output)

from tensorflow.keras.callbacks import EarlyStopping 
# 训练模型
early_stopping = EarlyStopping(monitor='val_loss', patience=10, restore_best_weights=True)
history = model.fit(X, Y, epochs=100, batch_size=16, validation_split=0.2, callbacks=[early_stopping])

# 预测测试数据
predictions = model.predict(OOT)

# 保存结果文件到本地
test['target'] = predicted_values.flatten()
test[['id','dt','target']].to_csv('submit.csv', index=None)

4. 结果

        由于epoch和batch_size大小的选择对模型的训练结果是直接相关的，因此本部分加入了对不同epoch和batch_size训练结果的讨论。参考资料：batchsize太小的缺点&随着batchsize逐渐增大的优缺点&如何平衡batchsize的大小_batchsize太小会怎样-CSDN博客

1) epoch = 10 batch_size=64

2) epoch = 10 batch_size=32

3) epoch = 10 batch_size=16

4) EarlyStopping

Seulgibear
关注
  • 10
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习（波士顿房价预测）
weixin_65089713的博客
03-31 2万+
本程序采用百度paddlepaddle深度学习框架 目录 1实验背景 2 实验过程 2.1 数据处理 2.1.1数据集导入并按规定形状保存 2.1.2数据集的划分（分为训练集和测试集） 2.1.3 数据归一化处理 2.1.4 数据集乱序分成批次（每次读入一个批次） 2.1.5 封装 load_data 函数 2.2 神经网络的设计 2.2.1神经网络的结构 2.2.2 神经网络的初始化 2.2.3 神经网络的前向计算和反向传播 2.2.4 优化算法 3 测试结果 4 完整
AI 学习 | 足球赛果预测
qcl006007的博客
01-29 4986
足球比赛是世界第一大球类运动，吸引无数的球迷观看，用AI模型来预测足球比赛的分析赛果是很有趣的一个活动。 数据准备 在对历史数据进行收集和处理后，对以下比赛数据进行预测。 第一列数据表征二分类的赛果，后面是各公司的指数以及一些处理出来的特征数据； 模型选择 作为常见的模型，这里选用了XGBoost 进行分类预测。 X_train = np.array(X_train) X_test = np.array(X_test) model = xgb.XGBClassifier(max_depth=
【科大讯飞大赛】【Datawhale Al夏令营】电力需求预测TOP1方案
weixin_43499803的博客
07-17 276
具体怎么使用还请各位多多探索了~
时序预测的深度学习算法全面盘点
Python数据挖掘
06-23 7595
深度学习方法是一种利用神经网络模型进行高级模式识别和自动特征提取的机器学习方法，近年来在时序预测领域取得了很好的成果。常用的深度学习模型包括循环神经网络（RNN）、长短时记忆网络（LSTM）、门控循环单元（GRU）、卷积神经网络（CNN）、注意力机制（Attention）和混合模型（Mix ）等，与机器学习需要经过复杂的特征工程相比，这些模型通常只需要经数据预处理、网络结构设计和超参数调整等，即可端到端输出时序预测结果。
大数据预测模型的深度学习导论
Meta.Qing的博客
09-14 4076
深度学习模型代表了人工智能 (AI) 和机器学习中的新学习范式。最近在图像分析和语音识别方面的突破性成果引起了人们对该领域的极大兴趣，因为在提供大数据的许多其他领域中的应用似乎也是可能的。不利的一面是，深度学习模型背后的数学和计算方法非常具有挑战性，尤其是对于跨学科科学家而言。出于这个原因，我们在本文中介绍了深度学习方法的介绍性回顾，包括深度前馈神经网络 (D-FFNN)、卷积神经网络 (CNN)、深度信念网络 (DBN)、自动编码器 (AE) 和长短术语记忆 (LSTM) 网络。这些模型构成了当前使用的深
深度学习：图像识别(匹配)方法|室内定位|论文与方法整理
热门推荐
长沙创微智能科技官方博客
04-27 5万+
若该文为原创文章，未经允许不得转载 原博主博客地址：https://blog.csdn.net/qq21497936 原博主博客导航：https://blog.csdn.net/qq21497936/article/details/102478062 本文章博客地址： 各位读者，知识无穷而人力有穷，要么改需求，要么找专业人士，要么自己研究 目录 前言 整理 图像匹配 Part1：局部不变...
看看新风向——基于深度学习的轨迹预测
Yuetian_w的博客
09-07 2598
轨迹预测的任务是给定一个物体的历史轨迹，即一系列的位置和速度信息，预测其在未来一段时间内的轨迹。这个任务可以看作是一个序列生成问题，即根据输入序列生成输出序列。为了解决这个问题，深度学习提供了一些强大的模型，如循环神经网络（RNN）、长短期记忆网络（LSTM）、注意力机制（Attention）、生成对抗网络（GAN）等。这些模型可以捕捉轨迹中的时序特征和非线性关系，以及考虑多种影响因素，如物体自身的动力学、周围环境的约束、其他物体的交互等。
Nat. Mach. Intell. | 基于深度学习预测DNA甲基化位点
DrugAI
08-09 2224
研究人员开发了一种预测DNA甲基化位点的机器学习算法可以帮助识别致病机制。该论文2020年8月3日发表在"Nature Machine Intelligence"上。 研究人员通过机器学习开发了一种算法，可以帮助预测DNA甲基化的位点，这一过程可以改变DNA的活性而无需改变其整体结构。开发人员说，这可能有助于确定致病机制，而常规筛查方法可能会漏掉这些致病机制。该算法由美国新泽西技术学院（NJIT）和费城儿童医院（CHOP）的团队完成。 研究人员称，DNA甲基化参与许多关键的细胞过程，并且是基因表..
机器学习小白阅读笔记：深度学习时序预测模型 Temporal Fusion Transformers
MeetLight
09-18 4769
Temporal Fusion Transformer 学习笔记，包含它的优点、结构、运作方式，以及如何使用Pytorch-forecasting中的TFT进行预测
直播｜千帆杯Al原生应用开发挑战赛——对话第一期最强挑战者
AI231225的博客
02-26 716
百度智能云正在如火如荼进行中，经过几百位参赛选手的激烈角逐，第一期游乐场排队规划助手赛题，24岁的南京大学研三学生杨之正荣获最强挑战者。，我们邀请第一期最强挑战者杨之正、百度主任研发架构师董大祥老师、以及Datawhale成员司玉鑫为大家带来直播分享。第一期赛题分析与解读百度智能云千帆AppBuilder实践与体验分享AI行业以及未来技术变革思考更多精彩内容！
Datawhale：动手深度学习第一次打卡！
01-20
用户正在通过Datawhale的学习计划进行深度学习实践，尤其是RNN的运用，这包括数据预处理、模型初始化、前向传播、梯度计算和预测等步骤。这是一个典型的学习深度学习和自然语言处理的基础任务。
Datawhale 《动手学深度学习》(二)
01-20
动手学深度学习（二）涵盖了深度学习中多个关键概念和技术，包括过拟合与欠拟合、高维线性回归、正则化、梯度消失与梯度爆炸、Kaggle房价预测实战、循环神经网络（RNN）、注意力机制、Seq2seq模型、Transformer结构...
Datawhale&kesci&伯禹教育-深度学习-第二次打卡1 过拟合&欠拟合的解决方法
01-07
常见训练数据划分方法 1.留有一定比例的验证集 2. K折交叉验证 欠拟合（无法得到较低的误差）和过拟合（训练误差远小于测试误差） 产生的原因： 模型复杂度和训练数据 1.模型复杂度 2. 训练数据 一般来说训练数据随...
DataWhale Task03&Task04&Task05
01-07
过拟合欠拟合及其解决方案 概念： 欠拟合（underfitting）：模型无法得到较低的训练误差。 过拟合（overfitting）：训练误差远小于它在测试数据集上的误差。 主要的影响因素是模型的复杂度和训练数据集的大小，通常...
DataWhale 深度学习 第二次打卡
01-20
在DataWhale的第二次打卡学习中，涵盖了多个核心概念，包括过拟合、欠拟合、梯度消失、梯度爆炸、循环神经网络、机器翻译、注意力机制、Seq2seq模型、Transformer、卷积神经网络以及权重衰减等。 首先，过拟合和欠...
【深度学习】PyTorch框架(6)：GNN图神经网络理论和实践
MUKAMO的博客
07-19 948
本文深入探讨了神经网络在图结构数据处理中的应用，介绍了图的邻接矩阵和边列表表示方法，以及图卷积网络（GCN）和图注意力网络（GAT）的实现。实践表明，图信息对提升预测模型性能至关重要，GNNs在社交网络、生物信息学、交通优化和推荐系统等领域具有巨大潜力，未来在AI领域将扮演更重要角色。
神经网络之卷积神经网络
m0_53881899的博客
07-19 370
神经网络之卷积神经网络
3.1-RNN存在的问题以及LSTM的结构
colleges的博客
07-18 701
阐述了RNN存在的梯度消失和梯度爆炸问题；引入LSTM，说明了LSTM的遗忘门、输入门、输出门、新增记忆单元的结构；以及为什么LSTM能够缓解梯度消失从而实现长期记住短期记忆
昇思25天学习打卡营第20天 | LSTM+CRF序列标注
最新发布
嫦娥妹妹等等我的博客
07-21 250
在自然语言处理（NLP）的领域中，序列标注是一个基础且关键的任务，涉及到从文本数据中提取有用信息，如命名实体识别（NER）、词性标注（POS）等。本次学习重点是探索如何结合长短时记忆网络（LSTM）和条件随机场（CRF）来执行序列标注任务，尤其是在命名实体识别上的应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值