shell循环指定GPU卡时报错CUDA out of memory

最新推荐文章于 2023-05-24 18:40:51 发布

希希兮

最新推荐文章于 2023-05-24 18:40:51 发布

阅读量475

点赞数

分类专栏： cuda 文章标签： linux python bash

本文链接：https://blog.csdn.net/siri96/article/details/130505446

版权

cuda 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

工作中需要在shell脚本里循环启动nohup后台执行程序，在指定CUDA_VISIBLE_DEVICES后，出现报错：CUDA out of memory. Tried to allocate 14.00 MiB (GPU 0; 23.70 GiB total capacity; 2.01 GiB already allocated; 9.31 MiB free...。此时脚本如下（错误示范）：

devices=0
for subfile in `ls $current/$dt`
    do
        cd $current
        CUDA_VISIBLE_DEVICES=$devices echo "nohup /data/private/zhangsirui/anaconda3/bin/python3 test_detect_subtitle_whisper3.py $dt/$subfile result/$subfile > log/log_$subfile.log 2>&1 &"|bash; 
        devices=$((${devices}+1))
        
    done

实际上nvidia-smi看到有足够空间，

解决办法：

devices=0
for subfile in `ls $current/$dt`
    do
        cd $current
        echo "CUDA_VISIBLE_DEVICES=$devices nohup /data/private/zhangsirui/anaconda3/bin/python3 test_detect_subtitle_whisper3.py $dt/$subfile result/$subfile > log/log_$subfile.log 2>&1 &"|bash; 
        devices=$((${devices}+1))
        
    done

亲测可用