CUDA_LAUNCH_BLOCKING=1

### 可能存在的问题

1. 之前跑程序指定过CUDA_VISIBLE_DEVICES,但是这次手动指定CUDA_VISIBLE_DEVICES, 但是程序里却指定了cuda:4类似这种GPU id号。

### 尝试的方案

1. export CUDA_VISIBLE_DEVICES=id; python xxx.py --device=0  # 这个不知道能否成功,我当时退出去之后才发--device参数拼错了,我程序里是--cuda

2. export CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7; python xxx.py --device=4  # 这个没成功的原因同1

### 尝试后一定成功的解决方案,虽然很笨:

docker环境:exit退出容器,然后`docker exec -it 容器名称 bash` 再进来

conda环境:再重启一个终端重新conda activate 当前环境名。


 

  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: cuda_launch_blocking=1 指的是当运行 CUDA kernel 时,将会阻塞 CPU 线程直到 kernel 执行完成。这意味着 CPU 线程会一直等待直到 CUDA kernel 执行结束,这可以避免 CPU 和 GPU 之间的资源竞争。 ### 回答2: 简单说,cuda_launch_blocking=1是CUDA中的一个启动选项,它用于控制CUDA运行时库的执行方式。当设置为1时,CUDA程序会等待当前执行的CUDA函数执行完毕,然后再开始执行后面的代码;而当设置为0时,CUDA程序不会等待,会直接进入下一条指令,这个时候CUDA函数仍在后台执行。 我们知道,在使用CUDA进行GPU计算时,CUDA函数通常是在主机(CPU)和设备(GPU)之间来回传输数据的,这个过程需要时间,而且也会占用一些资源。当cuda_launch_blocking=1时,CPU会等待GPU计算完成才继续执行CPU代码,这意味着CPU资源在等待GPU完成时会被浪费,因此通常不太适用于需要同时进行CPU和GPU计算的情况。 然而,当cuda_launch_blocking=0时,CPU和GPU可以同时工作,CPU可以执行其他任务,这样可以减少CPU的空闲时间。但是,如果在没有正确同步的情况下使用该选项,可能会导致GPU计算结果不正确,或者在处理大规模数据时可能会出现过多的GPU资源调度冲突,进而影响程序的性能。因此,在前期开发过程中必须进行仔细的测试,确保正确的同步和优化,避免出现问题。 在一些CUDA编程场景中,cuda_launch_blocking会经常用到。例如在实时应用程序开发中,需要等待GPU计算返回结果后再更新系统的状态;在一些模拟场景中,可能需要GPU计算结束后再进行下一步操作。因此,cuda_launch_blocking的适用性还是很广泛的。 ### 回答3: cuda_launch_blocking=1是一个与CUDA相关的参数,它的作用是在调用CUDA函数时使调用线程阻塞。在详细解释该参数的作用之前,先介绍一下CUDA的异步操作模式。 在CUDA中,异步操作是指设备上的任务和主机上的任务可以同时执行,这使得应用程序在执行CUDA代码时可以充分利用设备的计算资源,以提高应用程序的性能。CUDA提供了一种异步操作的机制,即在执行CUDA函数时,可以使用cudaStream参数来控制异步操作的执行顺序。在使用cudaStream时,CUDA函数会立即返回,而被调用的函数将在GPU上运行,并将任务放入由stream控制的任务队列中。 而当cuda_launch_blocking=1时,CUDA函数会阻塞调用线程,即在GPU端完成的操作会在当前线程被执行之前完成。这样做的目的是为了强制同步,以便确保GPU端的操作已经完成。因此,当程序使用cuda_launch_blocking=1时,调用线程将被阻塞,直到GPU端的操作完成并且主机端的任务也完成以后才会恢复。 需要注意的是,使用cuda_launch_blocking=1会对程序的性能产生一定的影响。如果按照正常的异步模式调用程序,应用程序会在等待GPU端的任务完成时,继续执行其他主机端的任务,从而提高程序并行性和执行效率。而如果使用cuda_launch_blocking=1,调用线程将被阻塞直到GPU端的操作完成,从而减少了程序的并行性。 综上所述,cuda_launch_blocking=1是一个会影响CUDA异步操作模式的参数,它的作用是强制同步,并在主机端等待GPU端的任务完成。但由于它减少了程序的并行性,应该慎重使用,特别是当程序需要使用CUDA的性能优势时。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值