深度学习 Day23——利用RNN实现天气预测

本文介绍了使用RNN预测澳大利亚各地天气数据中明天是否会下雨的过程。通过探索性数据分析,发现湿度、气压、气温等因素与降雨的相关性。经过数据预处理和构建模型,利用TensorFlow训练RNN模型,最终模型达到约84%的验证准确率,展示出RNN在时间序列预测上的应用潜力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

深度学习 Day23——利用RNN实现天气预测

一、前言

🍨 本文为🔗365天深度学习训练营 中的学习记录博客

🍦 参考文章:第R3周:LSTM-火灾温度预测(训练营内部可读)

🍖 作者:K同学啊

在本期博客中我们将继续利用RNN来实现一些预测,本期数据集我们将用到来自澳大利亚许多地点的大约10年的每日天气观测数据,我们将利用这些数据对明天是否会下雨进行一个预测,并在博客的后面添加探索式数据分析,我们首先来看一下我们的CSV数据集:

在这里插入图片描述

数据量有点大,大致看一下可以发现第一行是数据标签,对应各种数值含义,标签下面都是数据。

二、我的环境

  • 电脑系统:Windows 11
  • 语言环境:Python 3.8.5
  • 编译器:DataSpell 2022.2
  • 深度学习环境:TensorFlow 2.4.0
  • 显卡及显存:RTX 3070 8G

三、前期工作

1、导入依赖项

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import MinMaxScaler
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Activation,Dropout
from tensorflow.keras.callbacks import EarlyStopping
from tensorflow.keras.layers import Dropout
from sklearn.metrics import classification_report,confusion_matrix
from sklearn.metrics import r2_score
from sklearn.metrics import mean_absolute_error , mean_absolute_percentage_error , mean_squared_error

2、导入数据

data = pd.read_csv("data/weatherAUS.csv")
df = data.copy()
data.head()

在这里插入图片描述

3、查看数据基本信息

data.describe()

在这里插入图片描述

4、查看各列数据的数据类型

data.dtypes

在这里插入图片描述

5、转换数据集中有关时间数据转换为时间格式

data['Date'] = pd.to_datetime(data['Date'])
data['Date']

在这里插入图片描述

data['year'] = data['Date'].dt.year
data['Month'] = data['Date'].dt.month
data['day'] = data['Date'].dt.day
data.head()

在这里插入图片描述

在这里插入图片描述

6、删除Date标签列

data.drop('Date', axis=1, inplace=True)

7、查看所有列的标签

data.columns
Index(['Location', 'MinTemp', 'MaxTemp', 'Rainfall', 'Evaporation', 'Sunshine',
       'WindGustDir', 'WindGustSpeed', 'WindDir9am', 'WindDir3pm',
       'WindSpeed9am', 'WindSpeed3pm', 'Humidity9am', 'Humidity3pm',
       'Pressure9am', 'Pressure3pm', 'Cloud9am', 'Cloud3pm', 'Temp9am',
       'Temp3pm', 'RainToday', 'RainTomorrow', 'year', 'Month', 'day'],
      dtype='object')

四、探索式数据分析

1、数据相关性探索

plt.figure(figsize=(15,13))
# data.corr()表示了data中的两个变量之间的相关性
ax = sns.heatmap(data.corr(), square=True, annot=True, fmt='.2f')
ax.set_xticklabels(ax.get_xticklabels(), rotation=90)
plt.show()

在这里插入图片描述

2、明天是否会下雨

sns.set(style="darkgrid")
plt.figure(figsize=(4,3))
sns.countplot(x='RainTomorrow',data=data)
<AxesSubplot:xlabel='RainTomorrow', ylabel='count'>

在这里插入图片描述

plt.figure(figsize=(4,3))
sns.countplot(x='RainToday',data=data)
<AxesSubplot:xlabel='RainToday', ylabel='count'>

在这里插入图片描述

然后我们创建一个交叉表用于统计分组频率:

x = pd.crosstab(data['RainTomorrow'], data['RainToday'])
x

在这里插入图片描述

统计出频率之后我们继续来求出概率:

y = x / x.transpose().sum().values.reshape(2,1)*100
y

在这里插入图片描述

可以得出,如果今天不下雨那么明天下雨的概率约为15.4%,如果今天下雨那么明天下雨的概率约为46.8%。我们将概率用图表画出来:

y.plot(kind='bar', figsize=(4, 3), color=['#006666', '#d279a6'])

在这里插入图片描述

3、地理位置与下雨的关系

x=pd.crosstab(data['Location'],data['RainToday'])
#获取每个城市下雨天数和非下雨天数的百分比
y=x/x.transpose().sum().values.reshape((-1,1))*100
#按每个城市的雨天百分比排序
y=y.sort_values(by='Yes',ascending=True)
color=['#cc6699','#006699','#006666','#862d86','#ff9966' ]
y.Yes.plot(kind="barh",figsize=(15,20),color=color)

在这里插入图片描述

我们由图表可以分析出,地理位置会影响下雨,例如:对于城市Portland一年有36%的时间在下雨,而对于城市Woomers来说一年只有6%的时间在下雨。

4、湿度和气压对下雨的影响

我们绘制气压9am的图像:

plt.figure(figsize=(8,6))
sns.scatterplot(data=data,x='Pressure9am',y='Pressure3pm',hue='RainTomorrow')

在这里插入图片描述

我们绘制湿度9am的图像:

plt.figure(figsize=(8,6))
sns.scatterplot(data=data,x='Humidity9am',y='Humidity3pm',hue='RainTomorrow')

在这里插入图片描述

由图表我们分析可知,低压与高湿度会增加第二天下雨的概率,尤其是下午3点的空气湿度。

5、气温对下雨的影响

我们绘制最高气温和最低气温对是否下雨的图像:

plt.figure(figsize=(8,6))
sns.scatterplot(x='MaxTemp',y='MinTemp',data=data,hue='RainTomorrow')

在这里插入图片描述

由图像我们分析可知,当一天的最高气温和最低气温接近时,第二天下雨的概率会增加。

五、数据预处理

1、检查数据中缺失值的百分比

#每列中缺失数据的百分比
data.isnull().sum()/data.shape[0]*100

在这里插入图片描述

2、将存在的缺失值进行随机选择数替换

#在该列中随机选择数进行填充
lst=['Evaporation','Sunshine','Cloud9am','Cloud3pm']
for col in lst:
    fill_list =data[col].dropna()
    data[col] =data[col].fillna(pd.Series(np.random.choice(fill_list,size=len(data.index))))

s=(data.dtypes =="object")
object_cols=list(s[s].index)
object_cols
['Location',
 'WindGustDir',
 'WindDir9am',
 'WindDir3pm',
 'RainToday',
 'RainTomorrow']
#inplace=True:直接修改原对象,不创建副本
#data[i].mode()[0] 返回频率出现最高的选项,众数

for i in object_cols:
    data[i].fillna(data[i].mode()[0],inplace=True)

t=(data.dtypes =="float64")
num_cols=list(t[t].index)
num_cols
['MinTemp',
 'MaxTemp',
 'Rainfall',
 'Evaporation',
 'Sunshine',
 'WindGustSpeed',
 'WindSpeed9am',
 'WindSpeed3pm',
 'Humidity9am',
 'Humidity3pm',
 'Pressure9am',
 'Pressure3pm',
 'Cloud9am',
 'Cloud3pm',
 'Temp9am',
 'Temp3pm']
#.median(), 中位数
for i in num_cols:
    data[i].fillna(data[i].median(), inplace=True)

3、再次检查数据集中是否存在缺失值

data.isnull().sum()

在这里插入图片描述

4、构建数据集

在处理数据标签时,机器学习或深度学习能识别的标签都是数字类型,分类时用0,1,2…,预测时是浮点数,而大多数数据起始时都不是这种类型,像:“男”和“女”,“是”和“否”,“猫”或“狗”或“人”这类的比较多,因此需要将它们转换为数字类型。

LabelEncoder:将n个类别编码为0~n-1之间的整数(包含0和n-1),以下是使用LabelEncoder转换标签的实例:

from sklearn.preprocessing import LabelEncoder

label_encoder=LabelEncoder()
for i in object_cols:
    data[i] =label_encoder.fit_transform(data[i])

X=data.drop(['RainTomorrow','day'],axis=1).values
y=data['RainTomorrow'].values

X_train,X_test, y_train, y_test =train_test_split(X,y,test_size=0.25,random_state=101)

scaler=MinMaxScaler()
scaler.fit(X_train)
X_train=scaler.transform(X_train)
X_test =scaler.transform(X_test)

六、利用RNN预测明天是否下雨

1、搭建RNN神经网络结构

model=Sequential()
model.add(Dense(units=24,activation='tanh',))
model.add(Dense(units=18,activation='tanh'))
model.add(Dense(units=23,activation='tanh'))
model.add(Dropout(0.5))
model.add(Dense(units=12,activation='tanh'))
model.add(Dropout(0.2))
model.add(Dense(units=1,activation='sigmoid'))

2、编译模型

from tensorflow.keras.optimizers import Adam

optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4)

model.compile(loss='binary_crossentropy',
              optimizer=optimizer,
              metrics="accuracy")

3、设置早停

early_stop=EarlyStopping(monitor='val_loss',
                         mode='min',
                         min_delta=0.001,
                         verbose=1,
                         patience=25,
                         restore_best_weights=True)

4、模型训练

history=model.fit(x=X_train,
y=y_train,
validation_data=(X_test,y_test), verbose=1,
callbacks=[early_stop],
epochs =10,
batch_size =32
)

训练的结果是:

Epoch 1/10
   1/3410 [..............................] - ETA: 0s - loss: 0.7532 - accuracy: 0.4688WARNING:tensorflow:Callbacks method `on_train_batch_end` is slow compared to the batch time (batch time: 0.0000s vs `on_train_batch_end` time: 0.0010s). Check your callbacks.
3410/3410 [==============================] - 2s 671us/step - loss: 0.4421 - accuracy: 0.8066 - val_loss: 0.3883 - val_accuracy: 0.8310
Epoch 2/10
3410/3410 [==============================] - 2s 661us/step - loss: 0.3974 - accuracy: 0.8319 - val_loss: 0.3786 - val_accuracy: 0.8363
Epoch 3/10
3410/3410 [==============================] - 2s 631us/step - loss: 0.3902 - accuracy: 0.8347 - val_loss: 0.3758 - val_accuracy: 0.8379
Epoch 4/10
3410/3410 [==============================] - 2s 627us/step - loss: 0.3869 - accuracy: 0.8367 - val_loss: 0.3739 - val_accuracy: 0.8386
Epoch 5/10
3410/3410 [==============================] - 2s 621us/step - loss: 0.3848 - accuracy: 0.8366 - val_loss: 0.3757 - val_accuracy: 0.8377
Epoch 6/10
3410/3410 [==============================] - 2s 651us/step - loss: 0.3824 - accuracy: 0.8379 - val_loss: 0.3728 - val_accuracy: 0.8389
Epoch 7/10
3410/3410 [==============================] - 2s 678us/step - loss: 0.3822 - accuracy: 0.8374 - val_loss: 0.3712 - val_accuracy: 0.8398
Epoch 8/10
3410/3410 [==============================] - 2s 651us/step - loss: 0.3809 - accuracy: 0.8382 - val_loss: 0.3705 - val_accuracy: 0.8396
Epoch 9/10
3410/3410 [==============================] - 2s 624us/step - loss: 0.3789 - accuracy: 0.8391 - val_loss: 0.3699 - val_accuracy: 0.8401
Epoch 10/10
3410/3410 [==============================] - 2s 611us/step - loss: 0.3790 - accuracy: 0.8393 - val_loss: 0.3695 - val_accuracy: 0.8394

5、模型评估

import matplotlib.pyplot as plt

acc = model.history.history['accuracy']
val_acc = model.history.history['val_accuracy']

loss = model.history.history['loss']
val_loss = model.history.history['val_loss']

epochs_range = range(10)

plt.figure(figsize=(14, 4))
plt.subplot(1, 2, 1)

plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

在这里插入图片描述

七、最后我想说

本期的博客就到这里结束了,训练营有关RNN的实验到这里就结束了,后续我也会自己去找一下有关这方面的实验进行学习,拓宽自己的知识面,下一期博客开始,我们将暂时离开TensorFlow转战Pytorch的学习。

最后,马上就要跨越到2023年了,今年的时间过得可真快,在2022年中经历了很多事,也从中学到了很多,也多谢我的粉丝们这一路的陪伴,提前祝你们2023年新年快乐,心想事成,在新的一年里不留遗憾,谢谢!

以下是使用RNN模型进行气温预测的Python代码示例: ```python import numpy as np import pandas as pd import matplotlib.pyplot as plt from keras.models import Sequential from keras.layers import Dense, SimpleRNN # 读取数据 data = pd.read_csv('/data/jena_climate_2009_2016.csv', engine='python') # 取出温度数据 temp = data['T (degC)'].values # 数据标准化 mean = temp[:200000].mean() std = temp[:200000].std() temp = (temp - mean) / std # 定义生成时间序列样本的函数 def generator(data, lookback, delay, min_index, max_index, shuffle=False, batch_size=128, step=6): if max_index is None: max_index = len(data) - delay - 1 i = min_index + lookback while True: if shuffle: rows = np.random.randint(min_index + lookback, max_index, size=batch_size) else: if i + batch_size >= max_index: i = min_index + lookback rows = np.arange(i, min(i + batch_size, max_index)) i += len(rows) samples = np.zeros((len(rows), lookback // step, data.shape[-1])) targets = np.zeros((len(rows),)) for j, row in enumerate(rows): indices = range(rows[j] - lookback, rows[j], step) samples[j] = data[indices] targets[j] = data[rows[j] + delay] yield samples, targets # 定义训练集、验证集和测试集的生成器 lookback = 1440 step = 6 delay = 144 batch_size = 128 train_gen = generator(temp, lookback=lookback, delay=delay, min_index=0, max_index=200000, shuffle=True, step=step, batch_size=batch_size) val_gen = generator(temp, lookback=lookback, delay=delay, min_index=200001, max_index=300000, step=step, batch_size=batch_size) test_gen = generator(temp, lookback=lookback, delay=delay, min_index=300001, max_index=None, step=step, batch_size=batch_size) val_steps = (300000 - 200001 - lookback) // batch_size test_steps = (len(temp) - 300001 - lookback) // batch_size # 定义RNN模型 model = Sequential() model.add(SimpleRNN(32, input_shape=(None, temp.shape[-1]))) model.add(Dense(1)) model.compile(optimizer='rmsprop', loss='mae') # 训练模型 history = model.fit_generator(train_gen, steps_per_epoch=500, epochs=20, validation_data=val_gen, validation_steps=val_steps) # 绘制损失曲线 loss = history.history['loss'] val_loss = history.history['val_loss'] epochs = range(1, len(loss) + 1) plt.plot(epochs, loss, 'bo', label='Training loss') plt.plot(epochs, val_loss, 'b', label='Validation loss') plt.title('Training and validation loss') plt.legend() plt.show() # 在测试集上评估模型 test_loss = model.evaluate_generator(test_gen, steps=test_steps) print('test loss:', test_loss) # 预测未来24小时的温度 lookback = 1440 step = 6 delay = 144 batch_size = 128 test_gen = generator(temp, lookback=lookback, delay=delay, min_index=300001, max_index=None, step=step, batch_size=batch_size) test_steps = (len(temp) - 300001 - lookback) // batch_size preds = model.predict_generator(test_gen, steps=test_steps) preds = preds.reshape(-1) preds = preds * std + mean ```
评论 15
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

-北天-

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值