PyTorch基础之模型保存与重载模块、可视化模块讲解（附源码）

训练模型时，在众多训练好的模型中会有几个较好的模型，我们希望储存这些模型对应的参数值，避免后续难以训练出更好的结果，同时也方便我们复现这些模型，用于之后的研究。PyTorch提供了模型的保存与重载模块，包括torch.save()和torch.load()，以及pytorchtools中的EarlyStopping，这个模块就是用来解决上述的模型保存与重载问题

一、保存与重载模块

若希望保存/加载模型model的参数，而不保存/加载模型的结构，可以通过如下代码

其中state_dict是torch中的一个字典对象，将每一层与该层的对应参数张量建立映射关系

若希望同时保存/加载模型model的参数以及模型结构，而不保存/加载模型的结构，可以通过如下代码

为了获取性能良好的神经网络，训练网络的过程中需要进行许多对于模型各部分的设置，也就是超参数的调整。超参数之一就是训练周期（epoch），训练周期如果取值过小可能会导致欠拟合，取值过大可能会导致过拟合。为了避免训练周期设置不合适影响模型效果，EarlyStopping应运而生。EarlyStopping解决epoch需要手动设定的问题，也可以认为是一种避免网络发生过拟合的正则化方法 

EarlyStopping的原理可以大致分为三个部分：

将原数据分为训练集和验证集；

只在训练集上进行训练，并每隔一个周期计算模型在验证集上的误差，如果随着周期的增加，在验证集上的测试误差也在增加，则停止训练；

将停止之后的权重作为网络的最终参数

初始化 early_stopping 对象：

EarlyStopping 对象的初始化包括三个参数，其含义如下：

patience(int) : 上次验证集损失值改善后等待几个epoch，默认值：7。

verbose(bool)：如果值为True，为每个验证集损失值打印一条信息；若为False，则不打印，默认值：False。

delta(float)：损失函数值改善的最小变化，当损失函数值的改善大于该值时，将会保存模型，默认值：0，即损失函数只要有改善即保存模型 

 定义一个函数，表示训练函数，希望通过 EarlyStopping 当测试集上的损失值有所下降时，将此时的信息打印出来，并且保存参数。 先创建将要用到的变量，以及初始化 earlystopping 对象

之后训练模型并保存损失值，计算每次迭代在训练集和测试集上的损失值得均值，并保存

 

调用 EarlyStopping 中的_call_()模块，判断损失值是否下降，若下降则进行保存，并打印信息

最后调用torch.load()加载最后一次的保存点，即最优模型，并返回模型，以及每轮迭代在训练集、测试集上的损失值的均值

 

二、可视化模块

在模型训练过程中，有时不仅需要保持和加载已经训练好的模型，也需要将训练过程中的训练集损失函数、验证集损失函数、模型计算图（即模型框架图、模型数据流图）等保持下来，供后续分析作图使用

例如，通过损失函数变化情况，可以观察模型是否收敛，通过模型计算图，可以观察数据流动情况等

Tensorboard可以将数据、模型计算图等进行可视化，会自动获取最新的数据信息，将其存入日志文件中，并且会在日志文件中更新信息，运行数据或模型最新的状态。Tensorboard中常用的模块包括如下七类

add_graph()：添加网络结构图，将计算图可视化。

add_image()/add_images()：添加单个图像数据/批量添加图像数据。

add_figure()：添加matplotlib图片。

add_scalar()/add_scalars()：添加一个标量/批量添加标量,在机器学习中可用于绘制损失函数。

add_histogram()：添加统计分布直方图。

add_pr_curve()：添加P-R（精准率-召回率）曲线。  

add_txt()：添加文字

Tensorboard的整体用法，参见下图 

 

 TensorBoard中可以使用add_graph()函数保存模型计算图，该函数用于在tensorboard中创建存放网络结构的Graphs，函数及其参数如下：

model（torch.nn.Module) 表示需要可视化的网络模型；

input_to_model（torch.Tensor or list of torch.Tensor）表示模型的输入变量，如果模型输入为多个变量，则用list或元组按顺序传入多个变量即可；

verbose（bool）为开关语句，控制是否在控制台中打印输出网络的图形结构 

例如，有一个数据类型为torch.nn.Module的变量model，输入的张量为input1和input2，期望返回模型计算图，则可以输入如下代码，即可在SummaryWriter的日志文件夹中保存数据流图

 PyTorch中SummaryWriter的输出文件夹一般为runs文件，保存的日志文件不可以直接双击打开，需要在cmd命令窗口中将目录导航到runs文件夹的上一级目录，并输入tensorboard –logdir runs即可打开日志文件，打开后复制链接到浏览器中，即可打开保存的模型计算图或数据变量等 

TensorBoard中可以使用add_scalar()/add_scalars()函数保存一个或在一张图中保存多个常量，如训练损失函数值、测试损失函数值、或将训练损失函数值和测试损失函数值保存在一张图中。

add_scalar()函数及参数如下：

  

tag（string）为数据标识符；

scalar_value（float or string）为标量值，即希望保存的数值；

global_step（int）为全局步长值，可理解为x轴坐标 

 add_scalars()函数及参数如下：

main_tag（string）为主标识符，即tag的父级名称；

tag_scalar_dict（dict）为保存tag及tag对应的值的字典类型数据；

global_step（int）为全局步长值，可理解为x轴坐标。 

add_scalars()可以批量添加标量，例如，绘制y=xsinx、y=xcosx、y=tanx的图像，可以输入如下代码，保存的日志文件打开方式与上文所述相同

 

 

创作不易 觉得有帮助请点赞关注收藏~~~