R3 天气预测

天气预测

• 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
• 🍖 原作者：K同学啊

这周学习对天气预测的数据分析与模型训练，创建一个用于预测未来是否下雨的机器学习模型。

数据导入与预处理

首先，我们从CSV文件中导入数据，并进行了初步检查。为了便于时间序列分析，我们将日期列转换为日期格式，并提取了年、月、日的信息。接着，删除了原始的日期列。

data = pd.read_csv("./data/weatherAUS.csv")
data['Date'] = pd.to_datetime(data['Date'])
data['year'] = data['Date'].dt.year
data['Month'] = data['Date'].dt.month
data['day'] = data['Date'].dt.day
data.drop('Date', axis=1, inplace=True)

数据可视化

通过热力图和计数图分析数据的相关性和分布情况。

plt.figure(figsize=(15,13))
ax = sns.heatmap(numeric_data.corr(), square=True, annot=True, fmt='.2f')
plt.figure(figsize = (4, 3))
sns.countplot(x = "RainTomorrow", data = data)
sns.scatterplot(data=data,x='Pressure9am',y='Pressure3pm',hue='RainTomorrow')

缺失值处理

对数据集中的缺失值进行处理。数值型数据用中位数填充，分类数据用众数填充。

for col in lst:
    data[col] = data[col].fillna(pd.Series(np.random.choice(fill_list, size=len(data.index))))
for i in object_cols:
    data[i].fillna(data[i].mode()[0], inplace=True)
for i in num_cols:
    data[i].fillna(data[i].median(), inplace=True)

特征工程与数据集划分

对分类特征进行标签编码，并对数据集进行归一化处理，随后划分训练集和测试集。

label_encoder = LabelEncoder()
for i in object_cols:
    data[i] = label_encoder.fit_transform(data[i])
X_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.25,random_state=101)
scaler = MinMaxScaler()
scaler.fit(X_train)
X_train = scaler.transform(X_train)
X_test  = scaler.transform(X_test)

模型构建与训练

使用Keras构建一个深度神经网络模型，并通过早停机制来防止过拟合。

model = Sequential()
model.add(Dense(units=32, activation='tanh'))
model.add(Dense(units=24, activation='tanh'))
model.add(Dense(units=20, activation='tanh'))
model.add(Dropout(0.5))
model.add(Dense(units=12, activation='tanh'))
model.add(Dropout(0.2))
model.add(Dense(units=1, activation='sigmoid'))

optimizer = tf.keras.optimizers.Adam(learning_rate=1e-4)
model.compile(loss='binary_crossentropy', optimizer=optimizer, metrics=["accuracy"])

early_stop = EarlyStopping(monitor='val_loss', mode='min', min_delta=0.001, verbose=1, patience=25, restore_best_weights=True)

model.fit(x=X_train, y=y_train, validation_data=(X_test, y_test), verbose=1, callbacks=[early_stop], epochs=10, batch_size=32)

模型评估

训练完模型后，使用准确率和损失曲线图评估模型性能。

acc = model.history.history['accuracy']
val_acc = model.history.history['val_accuracy']
loss = model.history.history['loss']
val_loss = model.history.history['val_loss']

plt.figure(figsize=(14, 4))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

训练结果

总结

这周学习了如何从头开始进行数据清洗、特征工程和深度学习模型训练的全过程。对数据处理有了更深了了解，至此循环神经网路学习结束。