insightface mxnet训练 out of Memory

11年it研发经验,从一个会计转行为算法工程师,学过C#,c++,java,android,php,go,js,python,CNN神经网络,四千多篇博文,三千多篇原创,只为与你分享,共同成长,一起进步,关注我,给你分享更多干货知识!

发现menet训练分配gpu代码:

    cvd ="4,5"# os.environ['CUDA_VISIBLE_DEVICES'].strip()
    if len(cvd)>0:
        for i in range(len(cvd.split(','))):
            ctx.append(mx.gpu(i))
    if len(ctx)==0:
        ctx = [mx.cpu()]
        print('use cpu')
    else:
        print('gpu num:', len(ctx),cvd)
    prefix = args.prefix

 

每次从gpu0开始训练,当再开训练时,0gpu已经被占用,所以就报错了。

正确代码:

 cvd ="0,1"# os.environ['CUDA_VISIBLE_DEVICES'].strip()
    if len(cvd)>0:
        for i in cvd.split(','):
            ctx.append(mx.gpu(int(i)))
    if len(ctx)==0:
        ctx = [mx.cpu()]
        print('use cpu')
    else:
        print('gpu num:', len(ctx))

 

生成MXNet训练集的步骤如下: 1. 下载数据集:可以使用MXNet提供的数据集,例如MNIST数据集。 2. 加载数据集:使用MXNet提供的`mxnet.gluon.data.vision.datasets`模块来加载数据集。 3. 对数据集进行预处理:对每张图像进行归一化处理,将像素值缩放到0到1之间。对于标签数据,使用独热编码方式进行处理。 4. 定义输入和标签:将图像数据和标签数据分别存储在MXNet提供的`mxnet.ndarray`类型的数组中。输入数据的数组应该为4维,即(N, C, H, W),其中N表示图像数量,C表示通道数(对于灰度图像为1),H表示图像高度,W表示图像宽度。标签数据的数组应该为1维,即(N,)。 以下是一个示例代码,用于生成MXNet训练集: ```python import mxnet as mx from mxnet.gluon.data.vision import MNIST from mxnet.ndarray import one_hot # 下载MNIST数据集 train_set = MNIST(train=True) # 对数据进行预处理 X_train = train_set._data.astype('float32') / 255.0 y_train = train_set._label.astype('int32') y_train = one_hot(y_train, 10) # 定义输入和标签 X_train = mx.nd.array(X_train).reshape((-1, 1, 28, 28)) y_train = mx.nd.array(y_train).argmax(axis=1) ``` 在上面的代码中,我们使用了`MNIST`函数来加载MNIST数据集,并将图像数据和标签数据分别存储在MXNet的`ndarray`类型的数组中。对于标签数据,我们使用了`one_hot`函数进行独热编码,并将结果转换为MXNet的`ndarray`类型的数组。最后,我们将图像数据和标签数据分别存储在MXNet的`ndarray`类型的数组中,并对输入数据的维度进行了调整,以适应LeNet模型的输入尺寸。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值