TensorFlow 指定使用GPU

持续监控GPU使用情况命令：

$ watch -n 10 nvidia-smi

指定使用某个显卡

如果机器中有多块GPU，tensorflow会默认吃掉所有能用的显存， 如果实验室多人公用一台服务器，希望指定使用特定某块GPU。
可以在文件开头加入如下代码：

import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = "1"       # 使用第二块GPU（从0开始）

也可以制定使用某几块GPU:

import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = "0, 2"    # 使用第一, 三块GPU

禁用GPU:

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "-1"

支持的设备:

在一套标准系统中通常有多台计算设备。TensorFlow 支持 CPU 和 GPU 这两种设备。它们均用 strings 表示。例如：

"/cpu:0"：机器的 CPU。
"/device:GPU:0"：机器的 GPU（如果有一个）。
"/device:GPU:1"：机器的第二个 GPU（以此类推）。

如果 TensorFlow 指令中兼有 CPU 和 GPU 实现，当该指令分配到设备时，GPU 设备有优先权。例如，如果 matmul 同时存在 CPU 和 GPU 核函数，在同时有 cpu:0 和 gpu:0 设备的系统中，gpu:0 会被选来运行 matmul。

转自：https://blog.csdn.net/u014106566/article/details/83821669

cifar10 教程就是个很好的例子，演示了如何使用多个 GPU 进行训练。
见官方教程：https://www.tensorflow.org/programmers_guide/using_gpu?hl=zh-cn