pytorch新手自学教程(二)
头文件导入
import torch
import torch.nn as nn
from torch.utils.data import DataLoader
Dataset (数据集)
在处理任何机器学习问题之前都需要数据读取, 并进行预处理。PyTorch提供了很多工具使得数据的读取和预处理变得很容易。
·批量读取数据:
dataiter = DataLoader(myDataset, batch_size=10, shuffle=True)
#参数说明 myDataset:训练数据 batch_size: 每次读取数据量 shuffle: 为True时在每次取数据后会打乱数据。为Flase则不会
nn.Module (模组)
在 PyTorch 里面编写神经网络,所有的层结构和损失函数都来自于 torch.n口,所 有的模型构建都是从这个基类 nn.Module 继承的。
·继承模组构建神经网络模板举例(后面详解):
class Net(nn.Module):
#输入参数包括 输入层数,隐藏层数,输出层数
def __init__(self, n_feature , n_hidden , n_output):
super(Net,self).__init__() #继承Net
self.hidden = torch.nn.Linear(n_feature , n_hidden) #隐藏层
self.predict = torch.nn.Linear(n_hidden , n_output) #预测输出层
def forward(self, x ): #前向传播
x = F.relu(self.hidden(x)) #x值经过隐藏层输出后经激活函数激活
x = self.predict(x) #输出预测值
return x
·通过nn包定义常用损失函数(计算预测值与真实值的损失,方便反向传播):
loss_fuc1 = nn.L1Loss() #L1Loss取预测值和真实值的绝对误差的平均数即可
loss_fuc2 = nn.MSELoss() #平方损失函数,其计算公式是预测值和真实值之间的平方和的平均数。
loss_fuc3 = nn.SmoothL1Loss() #误差在(-1,1)范围内是MSELoss平方损失,其他情况是L1Loss损失。
loss_fuc4 = nn.BCELoss #二分类用的交叉熵其计算公式较复杂
loss_fuc5 = nn.CrossEntropyLoss() #图像分类神经网络模型中就常常用到该公式。
torch.optim (优化)
在反向传递时,我们需要通过修改参数使得损失的数最小化(或最大化),优化算法就是一种调整模型参数更新的策略。
(大致了解其作用和思想即可)
1、一阶优化算法:
函数的梯度形成了一个向量场,同时也是一个 方向,这个方向上方向导数最大,且等于梯度。梯度下降的功能是通过寻找最小值,控 制方差, 更新模型参数, 最终使模型收敛。
2、二阶优化算法:
三阶优化算法,使用了二阶导数(也叫做 Hessian 方法)来最小化或最大化损失函 数,主要基于牛顿法。
(!!!调用优化的时候将需要优化的参数传入,这些参数都必须是 Variable)
·在一个神经网络模型中通用优化步骤:
optimizer = torch.optim.RMSprop(net.parameters() , lr = 0.02) #优化神经网络 lr为学习效率
optimizer.zero_grad() #优化神经网络时先将网络梯度降为0
loss.backward() #根据真实值与y的均方差反向传播计算梯度
optimizer.step() #以学习效率0.02优化步骤
网络模型的保存和加载
当我们训练好一个网络模型时需要保存已经训练好的网络,以方便下次用的时候加载。
·保存网络模型(这种方法候加载的时间比较长,同时存储空间也比较大):
torch.save(net , 'net.pkl' ) #保存训练好的net网络模型,h会生成一个pkl文件保存
net = torch.load('net.pkl') #读取整个网络
·保存网络模型参数:
torch.save(net.state_dict(), 'net_params.pkl') # 只保存网络中的参数 (速度快, 占内存少)
net.load_state_dict(torch.load('net_params.pkl')) #读取参数