参考地址:https://zhuanlan.zhihu.com/p/31558973
简介
在训练深度学习网络过程,常常听到朋友说卡,这里的卡就是显卡,显卡包括显存和GPU。像1080Ti卡显存是11GB,2080Ti显存卡同为11GB。 GPU计算单元,用来数值计算的,常常这样表示:一秒钟能进行多少个浮点数先乘再加,这样一次计算表示为一个flop。
深度学习过程中,常用的数值类型是 float32,一个float32的大小为4个字节,比如1000x1000矩阵,float32,占用显存的大小为
1000 x1000 x4Byte = 4MB
神经网络占用
神经网络占用包含两部分:
- 模型自身参数
- 模型的输出
比如说神经网络中的某一卷积层的参数有,卷积参数+卷积输出的参数,每一层的参数均需要保存,因为,这些参数再后向传播过程中需要用到。
有参数的卷积层
- 卷积
- 全连接
- BatchNorm
- …
无参数卷积层
- 激活层
- 池化层
- Dropout
- …
比如:这里没有表示bias,如果有 + 相应输出 Linear(M, N)
参数数目为:M * NConv2d(Cin , Cout, K)
参数数目:Cin * Cout * K* K
,卷积核种类Cout种,每一种卷积核大小为 Cin * K * KBatchNorm(N)
参数数目为: 2N (均值和方差)- …
参数占用的显存 = 参数数目 X n Byte, n一般为4,因为深度学习总参数类型一般为float32
优化器参数
举例 SGD:
可以看出,除了保存W外,还需要保存相应的梯度,因此参数 x2。
如果是 Momentum-SGD
这时候还需要保存动量,因此参数 x3
如果是Adam,显存x4
综上:
显存占用 = 模型显存占用 + batch_size x 每个样本的显存占用
模型显存占用 = 每一层的显存占用 + 优化器的显存占用
每个样本的显存占用 = 每一层的feature map + 对应的梯度
减少显存占用方法
- 少用全连接,全连接更加站显存
- 模型种可以采用下采样,这样的化,模型输出的显存占用减少
- 降低batch_size
##################以上是从显存角度考虑######################
###################以下从计算量角度考虑###################
计算量指得是运算过程中乘法的次数,比如: - 全连接:B x M x N
- 卷积:B H W Cin Cout K K