如何在 TensorFlow 中使用多个 Graph
好好写个关于 TensorFlow 的专栏
1 人赞了该文章
当我们训练一个模型时,通常的做法是用一个 Graph 训练模型,然后用另一个 Graph 来评估模型的训练情况,因为在许多情况下,训练和测试的前向推导过程是不一样的,因为训练的时候通常包括了dropout和 BN 操作,而测试的时候则不需要或使用不一样的参数。但是这样有一个使用起来很不方便的地方,那就是训练和测试各自需要一个显卡,对于资源不是那么充裕的使用者就很不方便了,是否可以在一个进程内运行两个不同的计算图呢?
创建新计算图的优势
通常情况下,使用 TensorFlow 提供的默认计算图 Graph 就已经能够完成所有的工作了,但是,它也提供了方法来操作默认的计算图 Graph,用以适应更复杂的情况,比如说一个 Graph 定义了它内部所有 OP 的命名空间,所有内部 OP 都会自动命名为不重复的情况,但是还是会使得 OP 的名称比较复杂,那么如果显式的创建一个 Graph 就会给你为 OP 命名带来更多的控制权。
另外,默认的计算图 Graph 会存储所有的 OP 和 tensor 的信息,但是如果你创建的计算图是多个没有关联的子计算图,那么还不如创建多个独立的计算图,这样会使得原来的不相干的子图之间的声明被系统当做垃圾回收。
使用方法
可以先使用 tf.Graph 建立一个新的计算图,然后使用 tf.Graph.as_default 来创建一个上下文管理器来指定该计算图内部的结构;可以看如下代码:
g_1 = tf.Graph()
with g_1.as_default():
# Operations created in this scope will be added to `g_1`.
c = tf.constant("Node in g_1")
# Sessions created in this scope will run operations from `g_1`.
sess_1 = tf.Session()
g_2 = tf.Graph()
with g_2.as_default():
# Operations created in this scope will be added to `g_2`.
d = tf.constant("Node in g_2")
# Alternatively, you can pass a graph when constructing a `tf.Session`:
# `sess_2` will run operations from `g_2`.
sess_2 = tf.Session(graph=g_2)
assert c.graph is g_1
assert sess_1.graph is g_1
assert d.graph is g_2
assert sess_2.graph is g_2
这段代码表明了两种使用不同的 session 来运行不同的计算图的方式,一种是直接在该计算图g_1 Graph 内部调用 session ,一种是在该计算图的外部将 g_2 传入 session。
如果要查看当前使用的是哪个计算图,可以使用如下方法:
# Print all of the operations in the default graph.
g = tf.get_default_graph()
print(g.get_operations())
这段示例只是初步对在一个进程中如何使用多个计算图做了说明,下次有机会用代码实例来示范如何在实际中使用多个计算图。