![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 91
pearl30
这个作者很懒,什么都没留下…
展开
-
【文献阅读】understanding deep learning requires rethinking generalization 理解深度学习需要重新思考一下“泛化”
第一次文献阅读笔记整理。来自Google brain团队的关于深度神经网络泛化能力的观察与思考。原创 2017-07-09 17:02:52 · 1842 阅读 · 0 评论 -
[文献阅读]combined group and exclusive sparsity for deep neural networks
讨论前馈NN中各种有稀疏效果的正则项(L1,L2,L12,L21,L12+L21)。原创 2017-08-09 09:32:41 · 1646 阅读 · 0 评论 -
[文献阅读]dropout - a simple way to prevent neural networks from overfitting
提出了node Bernoulli dropout,用在前馈神经网络(MLP, CNN),限制boltzmann机模型上,在监督学习任务上测试。训练时候对每个min batch 以一定的概率暂时的移除节点(及其输入输出连接),相当于训练$2^n$个共享权重的网络。测试的时候用weight scaling后的全网络。Gauss dropout也有差不多更好的效果。原创 2017-08-02 05:55:19 · 1702 阅读 · 0 评论 -
【文献阅读】dropout distillation
构造用户定义的有效预测器集合,在其中找与理想dropout预测期最近的。。。原创 2017-08-03 05:44:21 · 1021 阅读 · 0 评论 -
[文献阅读]dropout as a bayesian approximation: representing model uncertainty in deep learning
NN的bayesian VB,把dropout解释为后验分布为mixture of norm, scale=0带来的参数的稀疏性/特征的选择。原创 2017-07-15 09:17:37 · 7398 阅读 · 2 评论