cnn中的dropout技术

lenet5中这个:

bool connection_table[6 * 16] = {
                O, X, X, X, O, O, O, X, X, O, O, O, O, X, O, O,
                O, O, X, X, X, O, O, O, X, X, O, O, O, O, X, O,
                O, O, O, X, X, X, O, O, O, X, X, O, X, O, O, O,
                X, O, O, O, X, X, O, O, O, O, X, X, O, X, O, O,
                X, X, O, O, O, X, X, O, O, O, O, X, O, O, X, O,
                X, X, X, O, O, O, X, X, O, O, O, O, X, O, O, O
};

突然意识到,就是dropout。

按辛顿的意思,dropout是随机丢弃一部分,我想,有选择的部分结合使用connection_table,可能给了辛顿灵感!

我在无意中,把这个connection_table增加了两列=6*18,增加两列使用五合一。

然而,我没意识到使用序号(6*16)index=i*w+j,在6*18中已经变了,然而没有意识到,训练成绩反而成了佼佼者!

这是什么意思,有意的安排,变成了乱序,不就是随机吗?

编程中犯浑,无意栽柳,我就不必去求证了,辛顿估计也是这样的(前人很感兴趣的研究出了成果),促使他的dropout技术,论文我也没看,我就这个风格,喜欢瞎猜!

估计我猜测对了!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值