梯度带(Gradientape)的定义
TensorFlow 为自动微分提供了 tf.GradientTape API ,根据某个函数的输入变量来计算它的导数。Tensorflow 会把 ‘tf.GradientTape’ 上下文中执行的所有操作都记录在一个磁带上 (“tape”)。 然后基于这个磁带和每次操作产生的导数,用反向微分法(“reverse mode differentiation”)来计算这些被“记录在案”的函数的导数。
使用范围
tf.Variable 或 tf.compat.v1.get_variable (相对于tf.constant)并设置为Trainable的变量可进行自动求导。
或者使用watch方法手动进行管理的变量的求导。
watch方法
最简单的实现y=x*x的求导
x = tf.constant(3.0)
with tf.GradientTape() as g:
g.watch(x)
y = x * x
dy_dx = g.gradient(y, x) # Will compute to 6.0
y=x*x的二阶求导
x = tf.constant(3.0)
wi