本文通过实验详细探讨Pytorch在显存中的动态分配规律。当创建和移动张量时，Pytorch不会立即释放显存，而是采用覆盖策略。主存与显存之间的交互显示，主存释放是即时的，而显存释放则在后续覆盖操作时进行。
下面通过实验来探索Pytorch分配显存的方式。
实验显存到主存
我使用VSCode的jupyter来进行实验，首先只导入pytorch，代码如下：
import torch
打开任务管理器查看主存与显存情况。情况分别如下：
在显存中创建1GB的张量，赋值给a，代码如下：
a = torch.zeros([256,1024,1024],device= 'cpu')
查看主存与显存情况：
可以看到主存与显存都变大了，而且显存不止变大了1G，多出来的内存是pytorch运行所需的一些配置变量，我们这里忽略。
再次在显存中创建一个1GB的张量，赋值给b，代码如下：
b = torch.zeros([256,1024,1024],device= 'cpu')
查看主显存情况：
最低0.47元/天 解锁文章
1557
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
