为了充分使用多GPU加速训练,我们使用并联式训练方法(这个名称忘了),因此需要把每一次训练的梯度更新给取出来(这个与训练方法有关)
- 获取所有变量
train_variables = tf.trainable_variables()
- 计算梯度
tower_grads = []
grads = optim.compute_gradients(loss,var_list=train_variables)
tower_grads.append(grads)
- 保证在使用梯度前更新所有的参数,并应用grads
update=tf.get_collection(tf.GraphKeys.UPDATE_OPS)
with tf.control_dependencies(update):
train_op = optim.apply_gradients(grads,steps)
- 这里再loss中,已经将数据传入,再sess.run()的时候,不需要再feed数据了。