深度学习———显卡AND GPU

参考地址：https://zhuanlan.zhihu.com/p/31558973

简介

在训练深度学习网络过程，常常听到朋友说卡，这里的卡就是显卡，显卡包括显存和GPU。像1080Ti卡显存是11GB，2080Ti显存卡同为11GB。 GPU计算单元，用来数值计算的，常常这样表示：一秒钟能进行多少个浮点数先乘再加，这样一次计算表示为一个flop。
深度学习过程中，常用的数值类型是 float32，一个float32的大小为4个字节，比如1000x1000矩阵，float32，占用显存的大小为

1000 x1000 x4Byte = 4MB

神经网络占用

神经网络占用包含两部分：

• 模型自身参数
• 模型的输出
  比如说神经网络中的某一卷积层的参数有，卷积参数+卷积输出的参数，每一层的参数均需要保存，因为，这些参数再后向传播过程中需要用到。

有参数的卷积层

• 卷积
• 全连接
• BatchNorm
• …

无参数卷积层

• 激活层
• 池化层
• Dropout
• …
  比如：这里没有表示bias，如果有 + 相应输出
• Linear(M, N) 参数数目为：M * N
• Conv2d(Cin , Cout, K) 参数数目：Cin * Cout * K* K，卷积核种类Cout种，每一种卷积核大小为 Cin * K * K
• BatchNorm（N） 参数数目为： 2N （均值和方差）
• …
  参数占用的显存 = 参数数目 X n Byte， n一般为4，因为深度学习总参数类型一般为float32

优化器参数

举例 SGD：

可以看出，除了保存W外，还需要保存相应的梯度，因此参数 x2。
如果是 Momentum-SGD

这时候还需要保存动量，因此参数 x3
如果是Adam，显存x4
综上：

显存占用 = 模型显存占用 + batch_size x 每个样本的显存占用
模型显存占用 = 每一层的显存占用 + 优化器的显存占用
每个样本的显存占用 = 每一层的feature map + 对应的梯度

减少显存占用方法

• 少用全连接，全连接更加站显存
• 模型种可以采用下采样，这样的化，模型输出的显存占用减少
• 降低batch_size
  ##################以上是从显存角度考虑######################
  ###################以下从计算量角度考虑###################
  计算量指得是运算过程中乘法的次数，比如：
• 全连接：B x M x N
• 卷积：B H W Cin Cout K K