DenseNet占用内存过高(batch-size只能设置为1)解决方案

最新推荐文章于 2024-08-18 09:00:00 发布
最新推荐文章于 2024-08-18 09:00:00 发布
阅读量4.6k 收藏 5
点赞数
分类专栏： caffe CNN 文章标签： DenseNet占用内存过高 memory-efficient caffe Ubuntu系统 batch-size只能设置为1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GL3_24/article/details/96558777
版权
博主在使用DenseNet时遇到内存问题，仅能设置batch-size为1。通过编译memory-efficient Caffe在Ubuntu系统上解决了这一问题。编译过程包括下载源码、删除特定文件、执行cmake和make命令。随后，博主将数据集导入到DenseNet训练脚本中，调整solver和prototxt文件，并创建train.sh启动训练，此时batch-size可设置为8和2。
摘要由CSDN通过智能技术生成

情况说明

前一阵自己使用caffe跑了跑DenseNet网络，显卡11G显存，只有当TRAIN和TEST的batch-size设置成1才可以跑通，这样的话是在线学习，最终的结果并没有想象中的那么好。然后查了一些资料，并不断进行尝试，最终得到了解决方案-------->使用memory-efficient的caffe(Ubuntu系统)跑DenseNet。

说明：博主用的是八开服务器，用的WinSCP可以像windows一样看到硬盘中的文件，如果只用ubuntu系统的话可以用 ls 指令查看文件。

具体实施

一、编译memory-efficient的caffe

源码：memory-efficient的caffe

大部分参考 使用内存精简版caffe运行densenet 并进行修改以及详细说明。
1 运行 git clone --recursive https://github.com/Tongcheng/caffe.git命令。
在自己的环境下运行上边的指令，会提示如下的信息。
在这里插入图片描述
2 运行cd /h

最低0.47元/天 解锁文章
心窄
关注
专栏目录
大模型的实践应用17-利用QLoRA技术来微调ChatGLM2时所遇到的一些问题与解决方案。
weixin_42878111的博客
02-27 274
我们采用QLoRA技术微调模型QLoRA(Quantized LoRA) 是 LoRA（Low-Rank Adaptation）的一种变体，旨在通过量化的方式减少模型大小和提高计算效率，同时保持或提升微调的性能。QLoRA 主要改进了 LoRA 在处理大型模型时的效率问题，尤其是在硬件资源有限的情况下。LoRA 本身是一种参数高效的微调方法，它通过引入低秩矩阵来捕捉基础模型参数的微小变化，从而只需要微调这些低秩矩阵，而不是整个模型的参数。
ShuffleNet原理与代码实例讲解
程序员光剑
07-07 1099
随着深度学习在计算机视觉领域的快速发展，卷积神经网络（CNN）已成为图像分类、目标检测等任务的主要解决方案。然而，随着模型复杂度的增加，传统CNN模型在计算资源有限的移动设备上的部署变得越来越困难。为了解决这个问题，研究人员开始关注如何设计轻量级但高效的神经网络模型。在这一背景下，ShuffleNet应运而生。ShuffleNet是由Face++团队在2017年提出的一种高效的轻量级卷积神经网络架构。
目标检测训练pascal，batch为1却会OOM！
qq_32689925的博客
03-18 626
直接上图，pascal数据中存在这么一张图片，尺寸为500X71，pascal图片预处理时会用到short_size_resize,如下： def short_side_resize(img_tensor, gtboxes_and_label, target_shortside_len): ‘’’ :param img_tensor:[h, w, c], gtboxes_and_label:[-1...
使用模型时，batchsize为1，模型报错
explorer5568的博客
03-14 2132
使用模型时需要batchsize为1，怎么样才能不报错
全球最大的开源项目管理基地 GitHub 的魅力
最新发布
Lion_Long的博客
08-18 5819
GitHub不仅为开发者提供了代码托管、版本控制和项目协作的强大工具，更是一个汇聚了全球程序员和技术爱好者的社区。在这个平台上，数以百万计的开源项目不断地推动着软件开发的边界，促进了知识共享和技术传播。本文将深入探讨GitHub的魅力所在，分析其在开源生态系统中的重要角色，以及为什么它成为无数开发者和企业的首选。
训练过程--Batchsize（总之一般情况下batchsize能设多大就设多大）
热门推荐
wydbyxr的博客
12-06 9万+
尽可能地设大batchsize "Large Batch Large Batch在 keypoints上也是有用的，大概能提到0.4到0.3的点的AP。" 在利用 ImageNet 训练 AlexNet 模型时，其中每 GPU 的最优批量大小为 512。如果我们希望使用大量 GPU 并保证每 GPU 皆拥有理想的执行效率，则应当将批量大小设定为 16 x 512 = 8192。 "Tra...
关于训练时，最后一轮batch_size=1的报错
Sunflower的博客
10-01 2780
当Batch Normalization设为训练模式时（通过训练样本学习均值和方差），拒绝任何batch-size为1的情况。至于原因，简单地说就是BN归一化是依靠当前mini-batch的均值和方差进行归一化的，如果batch-size太小，显然所谓的均值和方差并不能代表不同sample之间的差距，各个mini-batch归一化结果的差异会非常大，归一化就没有意义了。另外，当batch-size设为1时，BN的结果近似于IN。，还有一种情况就是，在最后一轮的时候。基本上现在不会直接设置。
Memory-efficient Implementation of DenseNets
liguandong
03-15 751
Memory-efficient Implementation of DenseNets 改进densenet模型占用显存较大的问题。 对于特征的极致利用可以提高模型的表现能力，用时由于生成大量的intermediate feature(中间特征)，因此存储这些intermediate feature会占用大量的显存。为了能够在GPU下跑更深的densenet网络，这篇文章通过对中间特征采用共...
遗传算法与深度学习：优化神经网络结构
程序员光剑
05-23 1374
关键词： 遗传算法，深度学习，神经网络，结构优化，超参数调整深度学习近年来取得了令人瞩目的成就，其在图像识别、自然语言处理、语音识别等领域展现出巨大的应用潜力。然而，深度学习模型的性能很大程度上取决于其结构和超参数的设置。手动设计神经网络结构需要大量的专业知识和经验，并且效率低下。为了解决这个问题，人们开始探索使用自动化方法来优化神经网络结构，而遗传算法作为一种经典的进化算法，为解决这一问题提供了新的思路。遗传算法（Genetic Algorithm，GA）是一种模拟自然选择和遗传机制的优化算法。它将问题的
边缘计算中的迁移学习应用：图像分类的轻量化解决方案
[边缘计算中的迁移学习应用：图像分类的轻量化解决方案](https://static.geekbang.org/infoq/5bf9603b7fd2e.png) # 1. 边缘计算与迁移学习概述 随着物联网(IoT)的迅速发展，边缘计算作为一种新兴的计算范式，致力于...
GPU小，batchsize=1，训练无效果，该怎么解决？
chenyuan1111的博客
09-15 635
训练模型，需要提供给模型有一定对比性的图片，比如图片包含两个不同的目标；另一方面，增加batchsize也可以增加对比性，因为batchsize=1，所有图片仅仅包含一个目标时就很难训练好的模型。2） 如果标注的图片内部由多个目标，最好包含所有你想识别的目标，那么batchsize=1时，也可以得到理想的模型。1） 如果标注的图片内只有一个目标，那么训练batchsize=1，大概率得不到你想要的模型。onnx + openvino框架 + opencv。onnx runtime推理框架；
关于使用模型预训练过程中面对内存溢出问题的解决方案
吉米_王
12-23 2477
前言： 据我了解很多较为成熟的模型，比如说：bert等，他们的实验过程都是在云TPU上进行了微调，且相关TPU的容量均为64GB； 我们目前一般企业中的服务器均为GPU，且内存层面16G、32G不等。 也就是说我们此时的硬件条件如果强行使用官方给出来的指导参数，很可能会出现内存溢出现象，这个问题笔者最近接受了领导安排的一些新模型的调研任务中感受颇深，接下来简单聊聊。 调研过程中遇到的问题 内存溢出 问题解决思路 1、鉴于内存使用量与批量大小有直接关系，所以我优先想到的就是调整batch_size大
batchsize对模型的影响
weixin_43972097的博客
08-22 2363
实际问题 不小心把batch_size设置为1之后，发现模型在第一个epoch的时候就不收敛了，在一个不太理想的准确率（0.7）左右晃荡。 然后更改为16之后，训练速度大大提升，准确率也开始收敛。 查阅资料 按理来说，batch_size为1是最好的，一次只处理一个样本，让模型可以学到的东西更加丰富。不过实际上调的时候，会出现batch_size太小导致网络收敛不稳定，最后结果比较差。 这是因为线性神经元在均方误差代价函数的错误面是一个抛物面，横截面是椭圆。对于多层神经元，非线性网络，在局部依然近似是抛物面
tensorflow 任意 batch size 不溢出显存( OOM )，使用 darknet 的 sub batch 方法
ONE_SIX_MIX的专栏
08-26 7354
这方法很久之前就想弄了，网上( 百度 )除了 darknet 之外，没人弄这东西，无奈那时对 tf 的 Optimizer 和 梯度计算 理解很浅，没法弄，不久前看了个 tensorflow 的 eager run 的例子才弄懂 tf 的梯度计算方式。 原理很简单，例如一个 batch 的 size = 100，直接放进显卡会溢出，那我把这个 batch 再分成 10 个 sub batch，每...
关于Densenet的改进方法
Loong Cheng的博客
03-17 5780
改进 Densenet是一个非常棒的网络结构，但是特别耗费显卡。 然后作者给出了解决方法 黄高博士及刘壮取得联系两位作者对 DenseNet 的详细介绍及常见疑问解答 DenseNet 特别耗费显存？ 不少人跟我们反映过 DenseNet 在训练时对内存消耗非常厉害。这个问题其实是算法实现不优带来的。当前的深度学习框架对 DenseNet 的密集连接没有很好的支持，我们只能借助于...
计算神经网络内存占用
u011311291的博客
10-08 9501
如果layer.count_params()或者model.summary()权重参数个数为负数的可以参考: 彻底解决keras model.summary()或者layer.count_params()权重参数个数为负数问题 举两个例子，一张(1024,1024,3)的图片，分别使用VGGNet,DenseNet网络。 一.VGGNet内存消耗计算 ''' Created on 2018年9月3...
图片推理时爆显存
weixin_41423872的博客
10-07 790
语义分割任务，在别人的代码上用uavid数据集做实验 训练的时候没有问题，但是在测试推理的时候batch_size为1居然会爆显存，只能推理一张图片，第二张就出错，排除了是第二张图片有问题的情况。试着在cpu上跑，可以运行。试着换成了cityscapes数据集，跑起来也没有问题，而且能跑很多张。 查看训练代码，发现在训练的时候图像进行了缩放，变成了480*480的大小，所以确定是图片大小的问题。 通过： # 双线性插值 img = img.resize((1920, 1080
谈谈深度学习中的 Batch_Size
诗酒年华
02-28 2472
转自程引的专栏Batch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。其二，
yoloV5算法计算FPS时batch-size必须设为1吗？
05-05
不一定。YOLOv5算法的FPS取决于许多因素，例如所使用的硬件设备、输入图像的分辨率和大小以及batch-size等。通常情况下，batch-size设置为1可以获得最高的FPS，但是如果你的硬件支持并行处理，你可以尝试增加batch-size来提高处理效率。但是，需要注意的是，随着batch-size的增加，显存的消耗也会增加，当显存不足时，程序将会出现错误。因此，在使用不同的batch-size时，需要仔细考虑硬件设备的性能和显存的消耗。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值