论文笔记 | Improving neural networks by preventing co-adaptation of feature detectors

Authors

G. E. Hinton , N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov
这里写图片描述
Hinton

Abstract

训练时随机忽略一半的feature detectors 能够防止因训练集太小带来的过拟合问题。这能够防止一些detectors联合在一起才起作用的情况,每个神经元预测一个特征有利于提高准确率,这种dropout的方法能提高很多benchmark的成绩。

Dropout每一个单元都以0.5的概率被忽略,所以使得神经元们不能相互依赖另外一个角度:模型平均(融合),相当于权重共享的模型的平均。

使用标准的随机梯度下降法,但是修改了loss的惩罚项,将L2设定为只有upper bound L2,只有当超过upper bound的时候才被惩罚,也就是约束代替了惩罚,使得可以以较大的learning rate,也就增大了搜索空间。

测试的时候使用了“mean network”结果取1/2,相当于很多很多的网络的平均,结果比用dropout之后再平均的结果要好。

一般来说提高训练效果的措施:
1. 使用transformed image
2. wiring knowledge about s

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值