TensorFlow的GPU设置

1. 在使用GPU版的TensorFlow跑程序的时候，如果不特殊写代码注明，程序默认是占用所有主机上的GPU，但计算过程中只会用其中一块。也就是你看着所有GPU都被占用了，以为是在GPU并行计算，但实际上只有其中一块在运行；另外的所有显卡都闲着，但其显存都被占用了，所以别人也用不了。不过这种情况通过在程序之前加三行代码就可以解决：

import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
# 保证程序中的GPU序号是和硬件中的序号是相同的

os.environ['CUDA_VISIBLE_DEVICES'] = "0,1"
# 屏蔽掉系统中除 gpu0 和 gpu1 （gpu序号要根据实际情况来定）之外所有的GPU设备
# 即设置仅gpu0,gpu1可见
# os.environ['CUDA_VISIBLE_DEVICES'] = "" 即不使用gpu

2. 避免TensorFlow程序会吃掉所用显卡的所有显存，设置程序需要多少显存就用多少

# TensorFlow程序会吃掉所用显卡的所有显存
# 如果想让程序需要多少显存就用多少
# 创建 session 的时候加一项设置
config = tf.ConfigProto(log_device_placement=FLAGS.log_device_placement)
config.gpu_options.allow_growth = True
session = tf.Session(config=config)