项目场景:
复现 以下开源项目:
对应原文:
https://arxiv.org/abs/2205.09113
问题描述
在其官方源码和其成员发布的早期源码运行本地finetune 的运行速度有差异,将近一倍
,按理来说即使官方发布做了优化,但是其内源码通过手动排查差异并不大
原因分析:
通过最愚蠢的方式:将差异的脚本通过复制粘贴来取消差异
最后的排查原因:定位到 对库的import 顺序导致了最后的时间差异
即:
import numpy as np
import torch
与
import torch
import numpy as np
在 epoch 循环内导致的结果不同
总结:
并不是很确定本机的环境是否有很大的影响,
但是通过调整import 的顺序确实提升了近一倍的速度
但就本项目来说非常重要::::: torch 要 先于 numpy 导入
如果有什么运行复现的问题也可评论哦