pth文件保存的模型参数对不同GPU环境不适应问题的解决方案研究

对于更改已保存的model weights以适应不同GPU数目的运行环境的(非正式、简略)研究的记录

————————————brief——————————————
结论：可行

转换pth的代码思路简述

1. load weights of DataParallel(model) run in 2gpu
2. save weights of model in .pth file.
   —— 实际上到这一步已经可以了。有了这个 pth 文件，基本就OK了。我是因为积重难返，只能再加上后面几步操作来更好地解决自己遇到的问题。
3. os.environ["CUDA_VISIBLE_DEVICES"] = "0" to change used gpu amount
4. create new DataParallel(model) run in 1gpu
5. save the weights of new DataParallel(model)

————————————Details——————————————
应用场景/研究价值/适用的情况
适用于使用模型参数时运行环境内的GPU数目与训练模型时不同，或者运行环境内GPU数目不能确定的情况。
举例
模型使用 DataParallel(model) 在4GPUs环境中运行，并在保存模型参数时保存了 DataParallel(model) 的参数（model.state_dict()），而非单纯model的参数（model.module.state_dict()）。