【问题解决】Tensorflow中run究竟运行了哪些节点？

Can__er

已于 2022-07-28 09:16:33 修改

阅读量565

点赞数 3

分类专栏： others machine learning 文章标签： tensorflow 深度学习 python

于 2022-06-25 17:41:54 首次发布

本文链接：https://blog.csdn.net/can__er/article/details/125461108

版权

machine learning 同时被 2 个专栏收录

27 篇文章 18 订阅

订阅专栏

others

17 篇文章 1 订阅

订阅专栏

我们都知道Tensorflow中是先定义图结构，再驱动节点进行运算。当构建完graph图后，需要在一个session会话中启动图，可以自定义创建一个对话，也可以使用默认对话。

其中典型的两个驱动节点的方法是session.run()和tensor.eval(),调用tensor.eval()相当于调用session().run(tensor)。二者的区别在这篇文章中有了较为详细的解释：

下面针对run(self, fetches, feed_dict=None, options=None, run_metadata=None) 方法做出详细介绍：
其中常用的fetches和feed_dict就是常用的传入参数。fetches主要指从计算图中取回计算结果进行放回的那些placeholder和变量，而feed_dict则是将对应的数据传入计算图中占位符，它是字典数据结构只在调用方法内有效。

其中需要注意的一点是tensorflow并不是计算了整个图，只是计算了与想要fetch的值相关的部分，这一点在很多答案中给出了错误的解答，可以看一下官方注释，是 “running the necessary graph fragment”：

    '''
    This method runs one "step" of TensorFlow computation, by
    running the necessary graph fragment to execute every `Operation`
    and evaluate every `Tensor` in `fetches`, substituting the values in
    `feed_dict` for the corresponding input values.
    '''

这种类似预“用到什么才去计算什么”的感觉非常像拉式，这也说明了为什么定义了一个完整的网络，但有的时候传入X和y进行训练，有的时候只传入X来进行预测，因为没有用到相关参数的图节点，所以无需传入。

但是，其中有个例外，就是网络本身的层参数，看以下代码：

X = tf.placeholder(tf.float32, shape=[None, n_inputs])
cross_entropy_loss = NetWork_loss(X)
grads_and_vars = optimizer.compute_gradients(cross_entropy_loss)
# print(grads_and_vars)
gradients = [grad for grad, variable in grads_and_vars]
gradient_placeholders = []
grads_and_vars_feed = []
for grad, variable in grads_and_vars:
    gradient_placeholder = tf.placeholder(tf.float32)
    # gradient_placeholder = tf.placeholder(tf.float32, shape=grad.get_shape())
    gradient_placeholders.append(gradient_placeholder)
    grads_and_vars_feed.append((gradient_placeholder, variable))
    # training_op = optimizer.apply_gradients(grads_and_vars_feed)
training_op = grads_and_vars_feed

这个网络的定义将计算出的损失，也就是cross_entropy_loss传入优化器optimizer，进行梯度的计算。
这个梯度计算的方法会返回一个个的元组，分别代表的就是当层的梯度和参数。
后面那一大段是为了进行梯度的更新，不过这里使用的是 “策略梯度”，也就是强化学习中需要它执行过了若干步后再更新梯度。
这里的更新的梯度就不再是神经网络中直接计算出的导数了，而是和你强化学习的reward挂钩，不再细讲，总之就是通过一个循环，把每层计算出的梯度传出，再传入根据自己的策略计算出的新的梯度。

重点来了，当我使用下面这段代码进行执行的时候：

with tf.Session() as sess:
    init.run()
    feed_dict = {}
    for var_index, gradient_placeholder in enumerate(gradient_placeholders):
        feed_dict[gradient_placeholder] = [9.]
    a = sess.run(training_op, feed_dict=feed_dict)

居然没报错！我们明明看到要计算的 training_op 需要的是grads_and_vars_feed，而后面这个参数用到了variable，也就是最终需要的还是 cross_entropy_loss，这个loss又是根据传入的X计算出来的
那追本溯源下去，这个training_op用到了两个需要填充的地方，而我们仅仅传入了梯度，凭什么不传入X就可以执行？

经过我的一番探索，发现把variable变成grad就会报错需要传入X，可这两个明明是一个循环取出来的。

经过一步步断点调试，终于破案了，原来这个 variable 是网络参数，是定义的图结构中的一些成员变量，也就是在执行 init.run() 的时候已经被初始化了~图结构中会直接把这样的变量标记为“已计算”。而grad则需要通过X，也就是上面正常逻辑回溯一步一步计算过来，所以没传入X的时候这个变量会被标记为“未计算”，那在拉取的时候才会回溯到X。

所以tensorflow并不是计算了整个图，只是计算了与想要fetch的值相关的部分，而这个“相关的部分”指的是还没被标记为“已计算的部分”，尤其是对于网络参数这类“固有的”，虽然表面上看起来是通过一个个的函数得出，实际上则不然，很有误导性。