LSTM+RNN

LSTM超参数调试

以下是手动优化RNN超参数时需要注意的一些事:

  • 小心出现过拟合,这通常是因为神经网络在“死记”定型数据。过拟合意味着定型数据的表现会很好,但网络的模型对于样例以外的预测则完全无用。
  • 正则化有好处:正则化的方法包括l1、l2和丢弃法等。
  • 保留一个神经网络不作定型的单独测试集。
  • 网络越大,功能越强,但也更容易过拟合。不要尝试用10,000个样例来学习一百万个参数 参数 > 样例数 = 问题
  • 数据基本上总是越多越好,因为有助于防止过拟合。
  • 定型应当包括多个epoch(使用整个数据集定型一次)。
  • 每个epoch之后,评估测试集表现,判断何时停止(提前停止)。
  • 学习速率是最为重要的超参数。可用deeplearning4j-ui调试;参见此图
  • 总体而言,堆叠层是有好处的。
  • 对于LSTM,可使用softsign(而非softmax)激活函数替代tanh(更快且更不容易出现饱和(约0梯度))。
  • 更新器:RMSProp、AdaGrad或momentum(Nesterovs)通常都是较好的选择。AdaGrad还能衰减学习速率,有时会有帮助。
  • 最后,记住数据标准化、MSE损失函数 + 恒等激活函数用于回归、Xavier权重初始化
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值