schedule初始化的时候默认last_epoch为-1,把optimazer里的lr设置为schedule中的初始学习率,初始化的最后一步,里面的ini中会自动调用一次.step(),因此last_epoch为0了,然后又把optimazer里的学习率重新设置为第0步的学习率。
因此要先optimazer.step().再schedule.step().因为optimazer.step().会用到学习率,而学习率是schedule.step()设置的。
可以用这个看每步optimazer的学习率。