要复现一个项目,死活装不上apex,把全网的错都报了一遍,从早绝望到晚,遂弃疗
但是看着屏幕前的代码,其他包全装完了,丢了又可惜,tmd
后来一想:apex不就是加速吗,apex有的东西应该torch也是有的,尝试更换
改动1:将apex的optimizer换为adam
改动2:将apex的FusedLayer改为torch.nn.layer
找到所有使用FusedLayerNorm的地方,改成nn.LayerNorm,如下
如果数量太多,嫌麻烦,那么直接在import里面改,如下
反向import,爷就是叛逆(不是
我的项目是跑起来了,如果小伙伴发现了其他的改动,欢迎在评论区补充