tensorflow的tf.gradients和tf.stop_gradients

1.tf.gradients的功能介绍

首先看下tf.gradients的功能，字面意思就很容易看出，tf.gradients用来对变量求梯度，我们给出一个简单的例子：

import tensorflow as tf
sess = tf.Session()
a = tf.Variable(0.,name="a")
b = tf.Variable(0.,name="b")
c=5*a+b
print(sess.run(tf.gradients(c, [a, b])))
print(sess.run(tf.gradients([a,b], [a, b])))
print(sess.run(tf.gradients([a+b,2*a+3*b], [a, b])))

输出结果如下：

[5.0, 1.0]
[1.0, 1.0]
[3.0, 4.0]

第一个输出的结果的计算过程为

第二个输出的结果的计算过程为

第三个输出的结果的计算过程为

我们来看官方的例子：

import tensorflow as tf
w1 = tf.get_variable('w1', shape=[3])
w2 = tf.get_variable('w2', shape=[3])
w3 = tf.get_variable('w3', shape=[3])
w4 = tf.get_variable('w4', shape=[3])
z1 = w1 + w2+ w3
z2 = w3 + w4
grads = tf.gradients([z1, z2], [w1, w2, w3, w4], grad_ys= [tf.convert_to_tensor([2.,2.,3.]),tf.convert_to_tensor([3.,2.,4.])])   
with tf.Session() as sess:
    print(sess.run(grads))

输出结果为：

[array([2., 2., 3.], dtype=float32), array([2., 2., 3.], dtype=float32), array([5., 4., 7.], dtype=float32), array([3., 2., 4.], dtype=float32)]

上个例子可以看到每个梯度为z1和z2梯度的求和，这里grad_ys表示梯度求和时权重值，若不加则均为1，若加上则按此权重求和。

2.tf.stop_gradients功能介绍

tf.stop_gradients的作用是，从这里出的tensor将禁止求梯度运算，我们看一个例子：

import tensorflow as tf
a = tf.Variable(1.0)
b = tf.Variable(1.0)
c = tf.add(a, b)
c_stoped = tf.stop_gradient(c)
d = tf.add(2*a, b)
e = tf.add(c_stoped, d)
gradients = tf.gradients(e, xs=[a, b])
with tf.Session() as sess:
    tf.global_variables_initializer().run()
    print(sess.run(gradients))
    print(sess.run(e))

输出结果为：

[2.0, 1.0]
5.0

可以看到，前向运算不受影响，但计算梯度时，经过c_stoped这个tensor的梯度将不会被计算，如果不使用stop_gradients，即代码改为：

import tensorflow as tf
a = tf.Variable(1.0)
b = tf.Variable(1.0)
c = tf.add(a, b)
c_stoped = tf.stop_gradient(c)
d = tf.add(2*a, b)
e = tf.add(c,d)
gradients = tf.gradients(e, xs=[a, b])
with tf.Session() as sess:
    tf.global_variables_initializer().run()
    print(sess.run(gradients))
    print(sess.run(e))

输出结果为：

[3.0, 2.0]
5.0

即又可以计算d节点的梯度了。