基础-正则化
基础-正则化
nopSled
一周一更
展开
-
ZONEOUT: REGULARIZING RNNS BY RANDOMLY PRESERVING HIDDEN ACTIVATIONS翻译
实验代码github:https://github.com/teganmaharaj/zoneout摘要我们提出了zoneout,这是一种用于正则化RNN的新方法。 在每个时刻,zoneout随机地令某些隐藏单元保持其上一时刻的值。像dropout一样,zoneout使用随机噪声来训练伪集合,从而改善泛化。并且,通过保留而不是丢弃隐藏单元,梯度信息和状态信息更容易通过时间传播,如在前馈随机深度...翻译 2019-06-14 10:55:12 · 2028 阅读 · 0 评论 -
Dropout: A Simple Way to Prevent Neural Networks from Overfitting翻译
摘要具有大量参数的深度神经网络是非常强大的机器学习系统。然而,过拟合是这种网络中存在的一个严重问题。大型网络使用起来也很慢,因此在测试时通过组合许多不同的大型神经网络的预测很难处理过拟合。Dropout是一种解决此问题的技术。关键思想是在训练期间从神经网络中随机丢弃单元(及其连接)。这可以防止单元具有太多的共适应(co-adapting)。在训练期间,从指数数量的不同“稀疏”网络中抽取样本。在测...翻译 2019-07-25 10:40:31 · 1558 阅读 · 0 评论