tensorflow—tf.gradients()简单实用教程

声明：

1. 参考官方文档
2. 参考tensorflow学习笔记（三十）
3. 关于神经网络中的梯度计算，推荐吴恩达的deeplearning公开课

tf.gradients()

在tensorflow中，tf.gradients()的参数如下：

tf.gradients(ys, xs, 
			 grad_ys=None, 
			 name='gradients',
			 colocate_gradients_with_ops=False,
			 gate_gradients=False,
			 aggregation_method=None,
			 stop_gradients=None)

先不给出参数的意义~

对求导函数而言，其主要功能即求导公式：$\frac{\partial y}{\partial x}$。在tensorflow中，$y$和$x$都是tensor。

更进一步，tf.gradients()接受求导值ys和xs不仅可以是tensor，还可以是list，形如[tensor1, tensor2, …, tensorn]。当ys和xs都是list时，它们的求导关系为：

gradients() adds ops to the graph to output the derivatives of ys with respect to xs. It returns a list of Tensor of length len(xs) where each tensor is the sum(dy/dx) for y in ys.

意思是：

1. tf.gradients()实现ys对xs求导
2. 求导返回值是一个list，list的长度等于len(xs)
3. 假设返回值是[grad1, grad2, grad3]，ys=[y1, y2]，xs=[x1, x2, x3]。则，真实的计算过程为:
   • $grad1=\frac{y1}{x1}$