动态学习函数和优化器保存方式

保存类或者模型时，个人比较懒，不太喜欢那种save model.state_dict， load_state_dict 的方式，尤其对于后续不太会修改的类和模型时，就喜欢野蛮粗暴的torch.save(model or class, fw), torch.load(model or class)，现在需要在保存模型的时候，把step，优化器状态和学习率的状态都保存下来，代码如下：

    if args.local_rank == args.calc_rank:
        ### 测试是否可以保存 start
        logger.info("测试是否可以保存 start")
        opt_info = {}
        opt_info["step"] = 0
        opt_info["num_training_steps"] = num_training_steps
        opt_info["num_warmup_steps"] = args.warmup_steps
        opt_info["optimizer"] = optimizer
        opt_info["scheduler"] = scheduler

        nn = 0
        output_dir = os.path.join(args.output_dir, 'checkpoint-%02d'%(int(nn + 1)))
        if not os.path.exists(output_dir):
            os.makedirs(output_dir)
        model.module.save_pretrained(output_dir, optim = opt_info)
        logger.info("测试 end")
        ### 测试 end

save_pretrained中的代码段：
        optim_info = kwargs.pop("optim", None)

        if optim_info != None:
            fw = open(os.path.join(save_directory, "optim"), "wb")
            # 无问题版本
            torch.save(optim_info, fw, pickle_module = dill)
            # 有问题版本
            # torch.save(optim_info, fw, pickle_module = dill)
            # 报错内容：见下图
            logger.info("save {} sucess.".format(
                os.path.join(save_directory, "optim")))
        else:
            logger.info("kwargs: {}".format(kwargs))
            logger.info("optim not in kwargs")

解决方式：
安装dill模块，save和load中添加参数 pickle_module = dill 即可解决；目前从他人博客描述中，说是由于lambda引起来。