tensorflow:Multiple GPUs

深度学习theano/tensorflow多显卡多人使用问题集

tensorflow中使用指定的GPU及GPU显存

Using GPUs

petewarden/tensorflow_makefile

tf_gpu_manager/manager.py

多GPU运行Deep Learning 和 并行Deep Learning（待续）

---

Multiple GPUs

---

---

1. 终端执行程序时设置使用的GPU

---

如果电脑有多个GPU，tensorflow默认全部使用。如果想只使用部分GPU，可以设置CUDA_VISIBLE_DEVICES。在调用python程序时，可以使用

CUDA_VISIBLE_DEVICES=1 python my_script.py #只使用GPU1
CUDA_VISIBLE_DEVICES=0,1 python my_script.py #使用GPU0,GPU1

Environment Variable Syntax      Results

CUDA_VISIBLE_DEVICES=1           Only device 1 will be seen
CUDA_VISIBLE_DEVICES=0,1         Devices 0 and 1 will be visible
CUDA_VISIBLE_DEVICES="0,1"       Same as above, quotation marks are optional
CUDA_VISIBLE_DEVICES=0,2,3       Devices 0, 2, 3 will be visible; device 1 is masked
CUDA_VISIBLE_DEVICES=""          No GPU will be visible

---

2. python代码中设置使用的GPU

---

如果要在python代码中设置使用的GPU，可以使用下面的代码

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "2"

---

3. 设置tensorflow使用的显存大小

---

定量设置显存

默认tensorflow是使用GPU尽可能多的显存。可以通过下面的方式，来设置使用的GPU显存：

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.7)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))    

上面分配给tensorflow的GPU显存大小为：GPU实际显存*0.7。
可以按照需要，设置不同的值，来分配显存。

按需设置显存

上面的只能设置固定的大小。如果想按需分配，可以使用allow_growth参数（参考网址：http://blog.csdn.net/cq361106306/article/details/52950081）：

gpu_options = tf.GPUOptions(allow_growth=True)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))   

---

4. 使用多个 GPU

---

如果你想让 TensorFlow 在多个 GPU 上运行, 你可以建立 multi-tower 结构, 在这个结构 里每个 tower 分别被指配给不同的 GPU 运行. 比如:

# 新建一个 graph.
c = []
for d in ['/gpu:2', '/gpu:3']:
  with tf.device(d):
    a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3])
    b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2])
    c.append(tf.matmul(a, b))
with tf.device('/cpu:0'):
  sum = tf.add_n(c)
# 新建session with log_