减少模型方差的方法借鉴

数据信噪比非常低,rnn仍然能学到有用的东西;

减少方差的方法有三种;

第一,保存多个checkpoints;

第二、用三个随机数种子,每个种子生成一个模型,一个模型10个checkpoints;即共有30个checkpoints

第三、训练过程中,对于参数值使用均值来代替原来的更新的值;即使用历史值计算均值;在原始的迭代中,每次迭代参数都会更新;但现在就用一个均值; 好比交易价格,价格不断的更新,但使用过去的几个价格做平均;

(这三步是不相关的,一开始我以为层层递进)


这里作者选择使用了第1和第2个方法;

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值