【李宏毅《机器学习》2022】作业1：COVID 19 Cases Prediction (Regression)
【李宏毅《机器学习》2022】作业1：COVID 19 Cases Prediction
本文记录了李宏毅《机器学习》2022作业1的一些学习过程
一、作业内容
学习目标
1.使用深度神经网络（DNN）解决回归问题。
2.了解基本的DNN训练技巧。
3.熟悉PyTorch。
作业的主要内容
根据美国某州过去5天的调查结果，预测第5天新增检测阳性病例的百分比。
二、代码解释
代码如下
1.引入必要的库
import math
import numpy as np
# Reading/Writing Data
import pandas as pd
import os
import csv
# For Progress Bar
from tqdm import tqdm
# Pytorch
import torch
import torch.nn as nn
from torch.utils.data import Dataset, DataLoader, random_split
# For plotting learning curve
from torch.utils.tensorboard import SummaryWriter
2.定义种子
此操作是为了使得每次运行的结果确定，便于kaggle评分
def same_seed(seed):
'''Fixes random number generator seeds for reproducibility.'''
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
np.random.seed(seed)
torch.manual_seed(seed)
if torch.cuda.is_available():
torch.cuda.manual_seed_all(seed)
3.划分数据集
划分出训练集用于训练模型,即确定模型的权重和偏置等参数,验证集则用于模型的选择,即选择模型的超参数,例如网络层数,网络节点数,迭代次数,学习率等,防止出现过拟合现象(指模型在训练集上表现较好，但在测试集上表现较差的现象)。
def train_valid_split(data_set, valid_ratio, seed):
valid_set_size = int(valid_ratio * len(data_set))
train_set_size = len(data_set) - valid_set_size
train_set, valid_set = random_split(data_set, [train_set_size, valid_set_size],
generator=torch.Generator().maual_seed(seed))
return np.array(train_set), np.array(valid_set)
此代码通过传入数据集，划分比例，随机种子，通过random_split函数将数据集划分为训练集和验证集
4.选择特征值
def select_feat(train_data, valid_data, test_data, select_all=True):
"""Selects useful features to perform regression"""
y_train, y_valid = train_data[:, -1], valid_data[:, -1]
raw_x_train, raw_x_valid, raw_x_test = train_data[:, :-1], valid_data[:, :-1], test_data
if select_all:
feat_idx = list(range(raw_x_train.shape[1]))
else:
feat_idx = [0, 1, 2, 3, 4] # TODO: Select suitable feature columns.
return raw_x_train[:, feat_idx], raw_x_valid[:, feat_idx], raw_x_test[:, feat_idx], y_train, y_valid
在作业1中数据被存储在csv文件中，每一行代表着1例数据，其中包括118个特征（由id+37个州+5天的16个特征）一行的最后一个元素是它的标签，测试集不包含标签。
故选择特征值时，首先选中文件最后一个元素作为标签，将剩余部分作特征值的选取元素，当select_all参数为真时则选取所有的特征值，默认选择所有特征值来训练，也可以通过列表自行挑选合适的特征值来优化模型提高预测的准确率 ，如下图中的口罩佩戴比例，外出旅游比例 等等可能会增加阳性病例的情况
5.数据集操作
class COVID19Dataset(Dataset):
'''
x: Features.
y: Targets, if none, do prediction.
'''
def __init__(self, x, y=None):
if y is None:
self.y = y
else:
self.y = torch.FloatTensor(y)
self.x = torch.FloatTensor(x)
def __getitem__(self, idx):
if self.y is None:
return self.x[idx]
else:
return self.x[idx], self.y[idx]
def __len__(self):
return len(self.x)
通过继承Pytorch提供的Dataset类来创建一个更加适合的数据集类，其中init函数功能是读取数据并对数据进行预处理，如果标签值target为空，则数据集为测试数据集，需要对标签进行预测，否则读取出数据集的标签，再得到数据集的特征值。getitem函数是取出数据集中的1个数据，测试集只需要取得特征值，无标签。len函数是得到数据的长度
train_loader = DataLoader(train_dataset, batch_size=config['batch_size'], shuffle=True, pin_memory=True)
valid_loader = DataLoader(valid_dataset, batch_size=config['batch_size'], shuffle=True, pin_memory=True)
test_loader = DataLoader(test_dataset, batch_size=config['batch_size'], shuffle=False, pin_memory=True)
Dataloader为一个迭代器，可以多线程的读取数据，并将几个数据组合成一个批次，其中batch_size为每次读取的数据个数，根据电脑的处理性能合理选择，shuffer参数控制是否需要打乱数据集，在训练集时设置为True，测试集时为False，pin_memory为真时，将数据张量固定在GPU内存中，使得数据加载至GPU的速度更快。
6.构建神经网络
class My_Model(nn.Module):
def __init__(self, input_dim):
super(My_Model, self).__init__()
self.layers = nn.Sequential(
nn.Linear(input_dim, 16),
nn.ReLU(),
nn.Linear(16, 8),
nn.ReLU(),
nn.Linear(8, 1)
)
def forward(self, x):
x = self.layers(x)
x = x.squeeze(1)
return x
此段代码构建了一个三层全连接层神经网络，其中self.layer定义了一个多层神经网络，通过nn.sequentia作为容器l来实现，nn.Linear(input_dim, 16)，此为全连接层（线性层），作用为将输入的纬度转换为16维，nn.ReLU(）为ReLU激活函数，用于对上一层输出进行非线性转换，公式为ReLU(x) = max(0, x)，之后几层也是类似的结构，最后得到1维的输出。forward函数为前向传播函数，用于指定数据如何通过网络进行运算，x = x.squeeze(1)的作用是将x的第一维去掉，使得输出形状符合预期。
7.训练过程
def trainer(train_loader, valid_loader, model, config, device):
criterion = nn.MSELoss(reduction='mean') #定义损失函数，此为均方误差函数，返回值为n个样本的平均值
available algorithms.
optimizer = torch.optim.SGD(model.parameters(), lr=config['learning_rate'], momentum=0.9)
writer = SummaryWriter() #用于绘制图像
if not os.path.isdir('../models'):#创建存储的地址
os.mkdir('../models')
n_epochs, best_loss, step, early_stop_count = config['n_epochs'], math.inf, 0, 0
for epoch in range(n_epochs): #迭代过程
model.train() #设置模型为训练模式
loss_record = [] #创建记录损失的列表，同时初始化损失
# 创建训练进度条
train_pbar = tqdm(train_loader, position=0, leave=True)
for x, y in train_pbar: #从训练集的迭代器中取出特征和标签
optimizer.zero_grad() #梯度清零，避免影响后续梯度值的计算
x, y = x.to(device), y.to(device) # 将数据移动到设备上，gup或cpu
pred = model(x)
loss = criterion(pred, y) #计算损失
loss.backward() #反向传播
optimizer.step() #更新模型参数
step += 1
loss_record.append(loss.detach().item())#记录损失
# 进度条显示目前进度
train_pbar.set_description(f'Epoch [{epoch + 1}/{n_epochs}]')
train_pbar.set_postfix({'loss': loss.detach().item()})
mean_train_loss = sum(loss_record) / len(loss_record)#计算平均损失，用于模型优化
writer.add_scalar('Loss/train', mean_train_loss, step)
model.eval() # 设置模型为评估模式
loss_record = []
for x, y in valid_loader:
x, y = x.to(device), y.to(device)
with torch.no_grad():
pred = model(x)
loss = criterion(pred, y)
loss_record.append(loss.item())
mean_valid_loss = sum(loss_record) / len(loss_record)
print(f'Epoch [{epoch + 1}/{n_epochs}]: Train loss: {mean_train_loss:.4f}, Valid loss: {mean_valid_loss:.4f}')
writer.add_scalar('Loss/valid', mean_valid_loss, step)
if mean_valid_loss < best_loss:
best_loss = mean_valid_loss
torch.save(model.state_dict(), config['save_path']) # Save your best model
print('Saving model with loss {:.3f}...'.format(best_loss))
early_stop_count = 0
else:
early_stop_count += 1
if early_stop_count >= config['early_stop']:
print('\nModel is not improving, so we halt the training session.')
return
训练过程包括：
1.设置损失函数，此处为均方损失函数
2.通过梯度下降法优化模型参数，需要合理选择学习率。
3.通过tensorboard绘制图像
4.创建存储路径
5.开始训练，训练循环含有两层，在外循环中设定模型为训练模式，创建记录损失的空列表，内循环中从训练集的迭代器中取出特征值和标签，将梯度清零，避免影响后续梯度值的计算，将数据值转移到cpu或gpu上，计算损失，梯度再进行反向传播。在验证的循环中不需要对模型的参数进行优化，而是对模型的平均损失进行评估，如果验证数据的平均损失小于最好的损失，则替换最好损失为当前验证数据的平均损失，并将当前模型进行保存同时记录损失。
三.训练结果
训练过程：
训练结果：
tensorboard可视化训练过程：
扫一扫
3937
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
