备忘：Tensorflow不同层设置不同学习速率

问题描述：

加载部分预训练好的权重到自己的模型上，fine-tune网络的时候，希望已经具有预训练权重的部分学习速率小一些，随机初始化的新添加的层学习速率大一些。

方法：

用 apply_gradients() 函数。

代码：

import tensorflow as tf

# the variables waiting for optimization
x = tf.Variable(tf.ones([]), name='fast/0')
y = tf.Variable(tf.zeros([]), name='slow/0')
loss = tf.square(x-y)
global_step = tf.Variable(0, name="global_step", trainable=False)

# the optimizer
opt = tf.train.AdamOptimizer(0.01)

# get all gradients
grads_and_vars = opt.compute_gradients(loss, [x, y])  # Return a list of (gradient, variable) pairs.

# Update rate of variables starting with 'fast' is 10 times normal
new_gradients = []
for item in grads_and_vars:
    grad, var = item
    var_name = var.name
    if var_name.startswith('fast'):
        print(var_name)
        grad = grad*10
    new_gradients.append((grad, var))

train_op = opt.apply_gradients(new_gradients, global_step=global_step)

init_op = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init_op)
for i in range(5):
    sess.run([train_op, loss, global_step])
    print(sess.run([x, y]))