对指定的部分变量梯度更新

在训练模型,有时需要对某些变量停止梯度更新,比如蒸馏时teacher的weight保持不变,有一种简单的方式通过scope控制哪些变量是否进行梯度更新,tensorflow的tf.get_collection(key, scope=None)函数获取需要更新梯度的变量:

var_list = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES, scope=‘teacher’)

如果指定key,就返回名称域(scope)中所有放入‘key’的变量的列表,如果不指定scope则返回所有变量。

然后通过optimizer来进行梯度更新:

train_op = optimizer.minimize(self.loss, var_list=update_ops)

这时只会更新带有teacher的scope变量的权重,而其他的变量则不会进行梯度更新

https://blog.csdn.net/qq_43088815/article/details/89926074

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值