pearl30-CSDN博客

原创 [文献阅读]combined group and exclusive sparsity for deep neural networks

讨论前馈NN中各种有稀疏效果的正则项（L1,L2,L12,L21,L12+L21）。

2017-08-09 09:32:41 1634

原创【文献阅读】dropout distillation

构造用户定义的有效预测器集合，在其中找与理想dropout预测期最近的。。。

2017-08-03 05:44:21 1010

原创 [文献阅读]dropout - a simple way to prevent neural networks from overfitting

提出了node Bernoulli dropout，用在前馈神经网络(MLP, CNN)，限制boltzmann机模型上，在监督学习任务上测试。训练时候对每个min batch 以一定的概率暂时的移除节点（及其输入输出连接），相当于训练$2^n$个共享权重的网络。测试的时候用weight scaling后的全网络。Gauss dropout也有差不多更好的效果。

2017-08-02 05:55:19 1686

原创 [文献阅读]dropout as a bayesian approximation: representing model uncertainty in deep learning

NN的bayesian VB，把dropout解释为后验分布为mixture of norm, scale=0带来的参数的稀疏性/特征的选择。

2017-07-15 09:17:37 7348 2

原创【文献阅读/翻译...】bayesian compression for deep learning深度学习中的贝叶斯压缩

神经网络的权重参数的scale mixture of norm先验，压缩网络结构。变分贝叶斯估计。

2017-07-14 21:29:09 2743

部分参考 CMU 机器学习理论课程讲义Rademacher分布，Rademacher变量n个样本，采用n个σi\sigma_i构成向量σ\sigma.其中Rademacher变量σi\sigma_i i.d.d. 采样于Rademacher分布：P(σi=1)=12,P(σi=−1)=12P(\sigma_i=1)=\frac{1}{2}, P(\sigma_i=-1)=\frac{1}{2}.向

2017-07-09 20:02:38 7036 1

原创【文献阅读】understanding deep learning requires rethinking generalization 理解深度学习需要重新思考一下“泛化”

第一次文献阅读笔记整理。来自Google brain团队的关于深度神经网络泛化能力的观察与思考。

2017-07-09 17:02:52 1811

转载欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-07-09 15:34:45 182

pearl30的博客