![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
tensorflow
zuosharp
这个作者很懒,什么都没留下…
展开
-
tensorflow梯度累积
目标: 梯度累加, 实现"显存扩大".error:1. 梯度累积容易out of memory2. 梯度累积+ 梯度裁剪容易 out of memory3. 梯度累积完, 更新时, 震荡幅度很大, 对模型影响很大未解决:1. 对每次累积的梯度做处理# 定义def gradients_add(self,optimizer,loss,var_list): ''' :param optimizer: 优化器 :param loss: 损失 :param var_li原创 2020-06-02 14:52:23 · 1125 阅读 · 0 评论 -
tensorflow(yunyang) 》》learn_rate
tensorflow(yunyang) 》》 learn_rate原代码:with tf.name_scope('learn_rate'): self.global_step = tf.Variable(1.0, dtype=tf.float64, trainable=False, name='global_step') # self.warmup_periods = 2 # self.steps_per_period = len(self.trainset) warmu原创 2020-06-02 14:48:52 · 160 阅读 · 0 评论