tensorflow with求导_tensorflow是如何求导的?

最近陆续把一些文章搬到微信公众号上,之后的更新也会在公众号上同步进行. 欢迎搜索:DeepCTR

反向传播(Back Propagation)是深度学习最基础最核心的概念之一.TensorFlow用自动微分的方式进行求导,并通过反向传播来更新每个参数的值.那么这一整套流程在tensorflow中是如何实现的呢?本文以一个简单的例子来说明一下.

1. 自动微分

一般来说,计算机程序上有数值微分,符号微分,自动微分等微分方式.其中数值微分简便快捷,但其精度和稳定性不足;符号微分(symbolic derivatives)精度较好,但其计算太耗时.相比之下,自动微分(Automatic Differentiation)克服了上述两个缺点.自动微分有forward和reverse两种模式,而机器学习中的backpropagation算法就是reverse mode的特例.下面主要介绍reverse mode下的自动微分.

第一步: 建立计算图

这里的计算图与TF的计算图类似, 每个节点代表一个变量,节点之间的边代表运算,边的方向代表计算的先后顺序.例如二元函数f(x, y) = xy + exp(xy). 对于该函数可以构建计算图如下:

计算图

第二步: 前向传播(Forward pass)

前向传播中主要做了两个事情: 1. 计算并存储函数在每个节点的值; 2. 计算并储存每个节点对其所有子节点的函数的偏导数. 比如图中的节点x3 = x1x2, 其子节点为x1和x2,我们就在节点3存储

第三步: 反向传播(Reverse pass)

反向传播从输出节点开始计算各个节点的梯度.本例中首先计算

, 接着计算x4处的导数:

, 注意这里的两项

和

的值已经在forward pass中计算并存储好了. Reverse pass中就是将这些导数的值连乘起来.

假设函数的输入为(x, y) = (1, 2), 则forward pass 中所有的步骤可以用表格列出来:

节点

节点公式

节点的值

公式

的值

公式

的值

/

/

/

/

2

1

/

/

下面在reverse pass中将上表的梯度值按照反向传播的顺序连乘起来,计算各个节点的梯度值:

以上就是reverse mode的自动微分过程.

2. TensorFlow中的Back Propagation

TF中的BP算法遵循了上述reverse mode的计算过程,下面以一个实例说明.

对于大家都熟悉的logistic函数

, 其中

为sigmoid函数.现在要使用Gradient Descent求其最优解,并以最小化均方误差为优化目标,因此这里的误差函数为

. TF代码如下:

import tensorflow as tf

#1. 准备数据

x = [[0,1]]

y = [[1]]

X = tf.placeholder(tf.float32, name='X')

Y = tf.placeholder(tf.float32, name='Y')

w = tf.Variable(tf.constant([[0.5],[0.5]], dtype=tf.float32), name="w")

b = tf.Variable(tf.constant(1, dtype=tf.float32), name="b")

#2. 计算logistic函数

Y_pred = tf.sigmoid(tf.matmul(X, w) + b)

#3. 定义均方误差

loss = tf.reduce_sum(tf.square(Y - Y_pred))

#4. 使用Gradient Descent作为优化方法

optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.5)

#5. 计算loss对w和b的梯度

grads_and_vars = optimizer.compute_gradients(loss)

grads = [g for g, v in grads_and_vars if g is not None]

#6. 梯度反向传播并更新参数

res = optimizer.apply_gradients(grads_and_vars)

#7. 启动计算图

with tf.Session() as sess:

sess.run(tf.global_variables_initializer())

res, grads = sess.run([res, grads], feed_dict={X:x, Y:y})

w_value,b_value = sess.run([w, b])

打印出相关变量:

print("grads:{}\n".format(grads)) #[array([[0.], [-0.05441625]], dtype=float32), -0.054416254]

print("w_value: {}, b_value:{}".format(w_value, b_value)) #w_value: [[0.5] [0.52720815]], b_value:1.0272080898284912

以上grads变量中存储了Loss对待训练参数w和b的梯度值([0, -0.0544]和-0.0544),在optimizer.apply_gradients()中进行反向传播,并更新w和b的值.每次sess.run()会更新一次.这就是一个最简单的tensorflow 反向传播过程.

P.S. : 步骤4, 5, 6经常合成一步来写:

res = tf.train.GradientDescentOptimizer(learning_rate=0.001).minimize(loss)

这里除了GradientDescent之外,还可以选择其他多种optimizer,如tf.train.AdagradOptimizer, tf.train.AdamOptimizer等.