AI
文章平均质量分 68
银古桑
这个作者很懒,什么都没留下…
展开
-
tf.estimator.train_and_evaluate 详解
TensorFlow 版本:1.11.0 在 TensorFlow 1.4 版本中,Google 新引入了一个新 API:tf.estimator.train_and_evaluate。提出这个 API 的目的是:代替 tf.contrib.learn.Experiment。 1. tf.estimator.train_and_e...转载 2020-09-29 17:26:37 · 1009 阅读 · 0 评论 -
什么是梯度消失和梯度爆炸及如何解决
原因梯度消失 (Vanishing Gradients)在梯度下降中, 随着算法反向的反馈, 梯度会越来越小,最终没有变化,此时并没有收敛到比好的解,这就是梯度消失的问题。梯度爆炸梯度爆炸原理跟梯度消失一样,反向传播时,导数大于1,导致梯度增加。解决方法激活函数更换激活函数ELU > leaky ReLU > ReLU > tanh > logistic添加BN层Batch Normalization的作用(1)允许较大的学习率(2)减弱对初始原创 2020-06-27 20:05:05 · 7714 阅读 · 1 评论