GPU和显存的关系

gpu和显存类似于，cpu和内存的关系。显存用来存放模型，数据，显存越大，所能够运行的网络就越大。GPU是计算单元，用来进行数值计算。

神经网络的显存占用包括：

1）模型参数的显存占用：只有有参数的层才会有显存占用，这部分的显存占用和输入无关，模型加载完之后就会占用有参数的层包括：卷积层，全连接层，BatchNorm,Embedding层。无参数的层：激活层sigmoid（sigmoid，relu），池化层，DropOut

2）梯度与动量的显存占用。

3）输入输出占用显存。