模型训练和动态参数调整 ---- 学习率调整，模型保存

1.学习率

optimizer = init_optimizer(model.parameters(), **optimizer_kwargs(args))
scheduler = lr_scheduler.ReduceLROnPlateau(optimizer, 'min', patience=4)

初始化部分如上：https://blog.csdn.net/weixin_40100431/article/details/84311430 具体参数设置
训练时候如下：

scheduler.step(train_loss)

2.模型保存

pytorch 中的 state_dict 是一个简单的python的字典对象,将每一层与它的对应参数建立映射关系.(如model的每一层的weights及偏置等等)

(注意,只有那些参数可以训练的layer才会被保存到模型的state_dict中,如卷积层,线性层等等)

优化器对象Optimizer也有一个state_dict,它包含了优化器的状态以及被使用的超参数(如lr, momentum,weight_decay等)

模型保存有两种：

第一种：

        if use_gpu:
            state_dict = model.state_dict()
        else:
            state_dict = model.state_dict()

        save_checkpoint({
            'state_dict': state_dict,