pytorch减少显存使用
transpose占用大量显存通常transpose(),permute()会改变tensor的结构,需要使用.contiguous()将内存转换为连续的。估计pytorch为了加快计算速度,使用了占用大量显存的运算方式,开辟出新的显并进行赋值。对这些函数进行修改可以减少大量显存:将tensor分为多个batch,分别进行transposeb,c,h,w = out.shape# transpose dimension (1,2): bxcxhxw -> bxhxcxw. batchsize=
原创
2020-07-29 11:27:52 ·
1336 阅读 ·
0 评论