保存类或者模型时,个人比较懒,不太喜欢那种save model.state_dict, load_state_dict 的方式,尤其对于后续不太会修改的类和模型时,就喜欢野蛮粗暴的torch.save(model or class, fw), torch.load(model or class),现在需要在保存模型的时候,把step,优化器状态和学习率的状态都保存下来,代码如下:
if args.local_rank == args.calc_rank:
### 测试是否可以保存 start
logger.info("测试是否可以保存 start")
opt_info = {}
opt_info["step"] = 0
opt_info["num_training_steps"] = num_training_steps
opt_info["num_warmup_steps"] = args.warmup_steps
opt_info["optimizer"] = optimizer
opt_info["scheduler"] = scheduler
nn = 0
output_dir = os.path.join(args.output_dir, 'checkpoint-%02d'%(int(nn + 1)))
if not os.path.exists(output_dir):
os.makedirs(output_dir)
model.module.save_pretrained(output_dir, optim = opt_info)
logger.info("测试 end")
### 测试 end
save_pretrained中的代码段:
optim_info = kwargs.pop("optim", None)
if optim_info != None:
fw = open(os.path.join(save_directory, "optim"), "wb")
# 无问题版本
torch.save(optim_info, fw, pickle_module = dill)
# 有问题版本
# torch.save(optim_info, fw, pickle_module = dill)
# 报错内容:见下图
logger.info("save {} sucess.".format(
os.path.join(save_directory, "optim")))
else:
logger.info("kwargs: {}".format(kwargs))
logger.info("optim not in kwargs")
解决方式:
安装dill模块,save和load中添加参数 pickle_module = dill 即可解决;目前从他人博客描述中,说是由于lambda引起来。