在用tensorflow训练神经网络时,有时我们想固定其中一些变量的取值不变,训练指定scope中的变量,常用的如finetune等。
一种最常用的方法是在用optimizer计算梯度时,指定计算梯度的变量列表(待优化的变量列表)。示例如下:
import tensorflow as tf
import tensorflow.contrib.slim as slim
# 定义优化器
g_optimizer = tf.train.AdamOptimizer(learning_rate = 1e-4)
# 指定待优化的变量列表
g_var_list = tf.get_collection(key=tf.GraphKeys.TRAINING_VARIABLES,scope="generator")
# 根据损失 gen_loss, 计算指定变量的优化梯度,g_gradient中保存了待优化的变量和对应变量的优化梯度。
g_gradient = g_optimizer.compute_gradients(loss = gen_loss, var_list = g_var_list)
# 应用梯度,用计算的变量梯度优化变量列表中的变量
g_opt = g_optimizer.apply_gradient(g_gradient)
更多提取变量列表的方法可参考:Tensorflow 获取model中的变量列表,用于模型加载等
更多冻结变量的方法可参考:tensorflow冻结变量方法(tensorflow freeze variable)
但是我认为,以上就足够了。