【已解决】探究CUDA out of memory背后原因，2024年最新web就业方向

torch.randn((1, 1), device=device)

仍然占用448M

事实上，这是因为CUDA运行时，其固件会占用一定的显存，在本机软硬件环境下是448M，不同的CUDA版本或显卡型号固件显存不同。换言之，**只要使用了GPU，就至少会占

x

x

x M的显存，且这部分显存无法被释放**。

2.2 显存激活与失活

给出以下代码，请问哪一个会报错？

• 代码A

x1 = torch.randn((200, 300, 200, 20), device=device)
x2 = torch.randn((200, 300, 200, 20), device=device)
x3 = torch.randn((200, 300, 200, 20), device=device)
x4 = torch.randn((200, 300, 200, 20), device=device)
x5 = torch.randn((200, 300, 200, 20), device=device)
x6 = torch.randn((200, 300, 200, 20), device=device)

• 代码B

x = torch.randn((200, 300, 200, 20), device=device)