tensorflow使用不同的学习率

最新推荐文章于 2021-08-24 20:54:23 发布

liyaohhh

最新推荐文章于 2021-08-24 20:54:23 发布

阅读量5.1k

点赞数 2

分类专栏： MachineLearning 深度学习入门

本文链接：https://blog.csdn.net/liyaohhh/article/details/76982699

版权

深度学习入门同时被 2 个专栏收录

38 篇文章 1 订阅

订阅专栏

MachineLearning

18 篇文章 0 订阅

订阅专栏

tensorflow使用不同的学习率

var_list1 = [variables from first 5 layers]
var_list2 = [the rest of variables]
train_op1 = GradientDescentOptimizer(0.00001).minimize(loss, var_list=var_list1)
train_op2 = GradientDescentOptimizer(0.0001).minimize(loss, var_list=var_list2)
train_op = tf.group(train_op1, train_op2)

但是上面的代码片段对于有些变量的梯度计算了两次

var_list1 = [variables from first 5 layers]
var_list2 = [the rest of variables]
opt1 = tf.train.GradientDescentOptimizer(0.00001)
opt2 = tf.train.GradientDescentOptimizer(0.0001)
grads = tf.gradients(loss, var_list1 + var_list2)
grads1 = grads[:len(var_list1)]
grads2 = grads[len(var_list1):]
tran_op1 = opt1.apply_gradients(zip(grads1, var_list1))
train_op2 = opt2.apply_gradients(zip(grads2, var_list2))
train_op = tf.group(train_op1, train_op2)