Tensorflow----训练

为了充分使用多GPU加速训练，我们使用并联式训练方法（这个名称忘了），因此需要把每一次训练的梯度更新给取出来（这个与训练方法有关）

1. 获取所有变量

train_variables = tf.trainable_variables()

2. 计算梯度

tower_grads = []
grads = optim.compute_gradients(loss,var_list=train_variables)
tower_grads.append(grads)

3. 保证在使用梯度前更新所有的参数，并应用grads

update=tf.get_collection(tf.GraphKeys.UPDATE_OPS)
with tf.control_dependencies(update):
	train_op = optim.apply_gradients(grads,steps)

4. 这里再loss中，已经将数据传入，再sess.run()的时候，不需要再feed数据了。