如何在 TensorFlow 中使用多个 Graph

如何在 TensorFlow 中使用多个 Graph

lonlon ago

好好写个关于 TensorFlow 的专栏

1 人赞了该文章

当我们训练一个模型时，通常的做法是用一个 Graph 训练模型，然后用另一个 Graph 来评估模型的训练情况，因为在许多情况下，训练和测试的前向推导过程是不一样的，因为训练的时候通常包括了dropout和 BN 操作，而测试的时候则不需要或使用不一样的参数。但是这样有一个使用起来很不方便的地方，那就是训练和测试各自需要一个显卡，对于资源不是那么充裕的使用者就很不方便了，是否可以在一个进程内运行两个不同的计算图呢？

 

创建新计算图的优势

通常情况下，使用 TensorFlow 提供的默认计算图 Graph 就已经能够完成所有的工作了，但是，它也提供了方法来操作默认的计算图 Graph，用以适应更复杂的情况，比如说一个 Graph 定义了它内部所有 OP 的命名空间，所有内部 OP 都会自动命名为不重复的情况，但是还是会使得 OP 的名称比较复杂，那么如果显式的创建一个 Graph 就会给你为 OP 命名带来更多的控制权。

另外，默认的计算图 Graph 会存储所有的 OP 和 tensor 的信息，但是如果你创建的计算图是多个没有关联的子计算图，那么还不如创建多个独立的计算图，这样会使得原来的不相干的子图之间的声明被系统当做垃圾回收。

 

 

使用方法

可以先使用 tf.Graph 建立一个新的计算图，然后使用 tf.Graph.as_default 来创建一个上下文管理器来指定该计算图内部的结构；可以看如下代码：

g_1 = tf.Graph()
with g_1.as_default():
  # Operations created in this scope will be added to `g_1`.
  c = tf.constant("Node in g_1")

  # Sessions created in this scope will run operations from `g_1`.
  sess_1 = tf.Session()

g_2 = tf.Graph()
with g_2.as_default():
  # Operations created in this scope will be added to `g_2`.
  d = tf.constant("Node in g_2")

# Alternatively, you can pass a graph when constructing a `tf.Session`:
# `sess_2` will run operations from `g_2`.
sess_2 = tf.Session(graph=g_2)

assert c.graph is g_1
assert sess_1.graph is g_1

assert d.graph is g_2
assert sess_2.graph is g_2

这段代码表明了两种使用不同的 session 来运行不同的计算图的方式，一种是直接在该计算图g_1 Graph 内部调用 session ，一种是在该计算图的外部将 g_2 传入 session。

 

如果要查看当前使用的是哪个计算图，可以使用如下方法：

# Print all of the operations in the default graph.
g = tf.get_default_graph()
print(g.get_operations()) 

 

 

这段示例只是初步对在一个进程中如何使用多个计算图做了说明，下次有机会用代码实例来示范如何在实际中使用多个计算图。