dropout源码学习

注： 这是一个学习笔记，不定时更新。

里面用到的技巧： 

1. max-norm regularization

2. dropout 比例的设置，输入层 隐层都可以执行dropout；

    输入层一般不使用，如果使用的话keep_prob=0.9;

    中间层的keep_prob=0.5-0.8,常用0.5

3. 优化算法：动量+GD

4. 隐单元的激活函数： sigmoid/ relu/ logistic/ maxout等

maxout之前做实验基本没用过，要多注意！

源码地址

这个程序开源的比较早，没有用现有的框架进行实现，而是一步一步用的python比较基础的代码。

cudamat文件：

1. cudamat package：用GPU进行矩阵运算的加速包

cudamat介绍

2.