paper
七七啊
沙坡村职业技术学院-ML&QF
keep studying!
展开
-
ResNet
《Deep Residual Learning for Image Recognition》本文主要是添加了shortcut映射来处理梯度消失的问题。这种解决深度网络的“随着层数的加深,精度下降”的方法是从优化算法的角度考虑问题的,不同于通过引入正则化来提升网络精度。心得:当一个网络效果不好的时候,有几种尝试解决方式:① 改变目标函数② 使用新的优化算法③ 引入正则项其实就是一个搭积木,然后最后看...原创 2018-04-18 08:36:16 · 369 阅读 · 0 评论 -
dropout源码学习
注: 这是一个学习笔记,不定时更新。里面用到的技巧: 1. max-norm regularization2. dropout 比例的设置,输入层 隐层都可以执行dropout; 输入层一般不使用,如果使用的话keep_prob=0.9; 中间层的keep_prob=0.5-0.8,常用0.53. 优化算法:动量+GD4. 隐单元的激活函数: sigmoid/ relu/ logist...原创 2018-06-05 10:06:16 · 608 阅读 · 0 评论