关于深度学习神经网络模型训练，参数过大，导致显卡内存溢出问题的总结

种豆得瓜er

已于 2022-05-01 20:15:23 修改

阅读量1w

点赞数

分类专栏：深度学习文章标签：神经网络深度学习 tensorflow 内存管理 1024程序员节

于 2021-10-17 21:50:58 首次发布

本文链接：https://blog.csdn.net/qq_41166909/article/details/120809263

版权

本文探讨了在使用CIFAR10模型进行深度学习时遇到的显卡内存溢出问题。通过计算模型参数大小和内存需求，作者指出即使减小批量大小和输入层样本数量，仍可能需要超过28GB的显存。文章提到了过拟合迹象，并提出了调整batch size和减少输入样本作为解决方案。

摘要由CSDN通过智能技术生成

实验是利用CIFAR10模型,计算将图片分成10个分类的误差。一开始采用cpu模型来训练，迭代一个epoch需要50分钟，所以换成GPU模型，GPU有4G内存，结果刚加载模型显卡内存就溢出。

报错如下：

先用keras来计算网络的大小，参数的个数。

(50000, 32, 32, 3) (50000,) (10000, 32, 32, 3) (10000,)
sample: (512, 32, 32, 3) (512,) tf.Tensor(-1.0, shape=(), dtype=float32) tf.Tensor(1.0, shape=(), dtype=float32)
Model: "res_net_1"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
sequ