capsule模型 ResourceExhaustedError解决方法

很多人一开始跑capsule模型 

会遇到下面这种情况:

ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape[128,512,8,160]

解决办法:

1.首先得排除整个显卡上是不是有别的模型在跑?

2.如果没有,检查自己的模型逻辑有没有错误?(很多时候,即使没错也会崩……)

3.接下来,在进行下一步尝试……

    先用invidia-smi命令,看看服务器上有哪些空闲显卡(本地电脑可忽略,重新运行就是了).

    对于tensorflow来说,可以用CUDA_VISIBLE_DEVICES=1(,2...) python train.py​,命令来运行程序,其中的数字1,2...代表显卡序号。如果你觉得一个显卡不够,或是想让程序跑得快,在不影响别人使用的情况下,可以多选择几块显卡。CUDA_VISIBLE_DEVICES命令是用来确定CUDA允许tensorflow发现的显卡​。如果没有,默认情况下tensorflow会利用所有能利用的资源。

    对于濒临淘汰的Theano来说,运行时设置device=1(,2,3..),即可。

 4.如果还是不行,请回到第二步……不要过度自信……

补充一条测试方法:先把模型调整的最简,比如只有一层全连接,然后一层一层的往上加,逐步简历自己的模型,在建立的过程中发现问题。毕竟这个错误,很玄……有时候,前几轮跑的好好的,到后面却崩溃了,这种情况就得多跑几次先碰碰运气。

OOM的错误目前我还没找到最有效的解决方法,之前本以为能解决问题,但是偶然还是会出现。词表的大小也会引起OOM的错误,最近尝试google news的词向量,小词表不会引发OOM 错误,换成大词表,就不行了。如果你们有好的解决方法,欢迎留言讨论。



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一摩尔自由

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值