笔者在实现一个transformer时,将nn.LayerNorm()层放到了Add_Norm模块的forward函数里,将模型搬到GPU上时一直报错,排查以后尝试将nn.LayerNorm替换为F.layer_norm,就没问题了!
CUDA Error: illegal error memory access 踩坑
最新推荐文章于 2024-03-25 11:59:14 发布
笔者在实现一个transformer时,将nn.LayerNorm()层放到了Add_Norm模块的forward函数里,将模型搬到GPU上时一直报错,排查以后尝试将nn.LayerNorm替换为F.layer_norm,就没问题了!