神经网络的调参顺序

本文介绍了神经网络调参的顺序,强调了学习率的重要性,并提到了隐藏单元、小批量大小、动量等超参数。在手动优化RNN时,要警惕过拟合,利用正则化和独立测试集进行评估。网络规模与数据量应匹配,避免过拟合。多epoch训练和学习率调整是关键,同时推荐使用softsign激活函数和RMSProp等更新器。
摘要由CSDN通过智能技术生成

1. Andrew Ng 的个人经验和偏好是:

第一梯队: learning rate α

第二梯队: hidden units

mini-batch size

momentum β

第三梯队: number of layers

learning rate decay

other optimizer hyperparameters

 

2. 手动优化RNN超参数时需要注意的一些事:

  • 小心出现过拟合,这通常是因为神经网络在“死记”定型数据。过拟合意味着定型数据的表现会很好,但网络的模型对于样例以外的预测则完全无用。
  • 正则化有好处:正则化的方法包括l1、l2和丢弃法等。
  • 保留一个神经网络不作定型的单独测试集。
  • 网络越大,功能越强,但也更容易过拟合。不要尝试用10,000个样例来学习一百万个参数 参数 > 样例数 = 问题。
  • 数据基本上总是越多越好,因为有助于防止过拟合。
  • 定型应当包括多个epoch(使用整个数据集定型一次)。
  • 每个epoch之后,评估测试集表现,判断何时停止(提前停止)。
  • 学习速率是最为重要的超参数。
  • 总体而言,堆叠层是有好处的。
  • 对于LSTM,可使用softsign(而非softmax)激活函数替代tanh(更快且更不容易
  • 0
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值