pytorch中常用的技术

一、torch.save()的使用

参考链接：pytorch利用torch.save()保存模型参数及载入

假设网络为model = Net(), optimizer = optim.Adam(model.parameters(), lr=args.lr), 假设在某个epoch，我们要保存模型参数，优化器参数以及epoch

先建立一个字典，保存三个参数：

state = {‘net':model.state_dict(),optimizer':optimizer.state_dict(), 'epoch':epoch}

2.调用torch.save():

torch.save(state, dir)

恢复某一阶段训练

checkpoint = torch.load(dir)
model.load_state_dict(checkpoint['net'])
optimizer.load_state_dict(checkpoint['optimizer'])
start_epoch = checkpoint['epoch'] + 1

二、扩展与压缩Tensor

参考文档：Pytorch 扩展Tensor维度、压缩Tensor维度

输入的数据维度和实验需要维度不一致，输入的可能是2维数据或3维数据，实验需要用到3维或4维数据，那么我们需要扩展这个维度。其实特别简单，只要对数据加一个扩展维度方法就可以了。

(1)扩展维度
torch.unsqueeze(self: Tensor, dim: _int)
参数说明：self:输入的tensor数据，dim：要对哪个维度扩展就输入那个维度的整数，可以输入0，1，2……
扩展出来的维度为全1
(2)压缩Tensor维度

 data = torch.rand([1, 1, 3, 3])
data1 = torch.squeeze(data, dim=0)

即可将第0维数据压缩掉

import torch
def reset_squeeze2():
    data = torch.rand([1, 1, 3, 3])
    data1 = torch.squeeze(data, dim=0)
    print("data_size: ", data.shape)
    print("data: ", data)
    print("data1_size: ", data1.shape)
    print("data1: ", data1)