【在多个GPU情况下TensorFlow指定使用某个GPU、GPU与CPU如何切换使用】

在多个GPU情况下TensorFlow指定使用某个GPU、GPU与CPU如何切换使用

0、首先通过下述指令来查看GPU的使用情况：

• nvidia-smi 
  

• 
• 可以看到总共有0～9，10块RTX2080，并且编号从0～3的GPU都被其他同学使用了，所以接下来我们自己使用的时候可以指定编号5、编号6的GPU，主要有以下几种方法：

1. 在python脚本中通过CUDA_VISIBLE_DEVICES来指定使用的某一块GPU或者多块GPU

• 输入下列指令在python脚本中，表明该程序运行时候只使用编号为5和编号为6的两块GPU，其他都不使用

• import os
  os.environ('CUDA_VISIBLE_DEVICES') = '5,6'
  

2. 在terminal中运行脚本时，输入以下指令来指定GPU运行脚本

• CUDA_VISIBLE_DEVICES=5,6 python test.py
  

3. 在GPU全被使用的情况下，想先用CPU跑一拍程序，输入以下指令即可实现CPU和GPU切换

• import os
  
  if Bert_Use_GPU:
      os.environ['CUDA_VISIBLE_DEVICES'] = '5,6'    #使用GPU0,1
  else:
      os.environ['CUDA_VISIBLE_DEVICES'] = '-1'      #使用CPU