CNN自学

CNN的结构

• 数据输入层/ Input layer
  卷积计算层/ CONV layer
  ReLU激励层 / ReLU layer
  池化层 / Pooling layer
  全连接层 / FC layer

输入层

• 去均值：把输入数据各个维度都中心化为0，如下图所示，其目的就是把样本的中心拉回到坐标系原点上。
  归一化：幅度归一化到同样的范围，如下所示，即减少各维度数据取值范围的差异而带来的干扰，比如，我们有两个维度的特征A和B，A范围是0到10，而B范围是0到10000，如果直接使用这两个特征是有问题的，好的做法就是归一化，即A和B的数据都变为0到1的范围。
  PCA/白化：用PCA降维；白化是对数据各个特征轴上的幅度归一化

卷积计算层

• 局部关联。每个神经元看做一个滤波器(filter)
  窗口(receptive field)滑动， filter对局部数据计算

非线性层（或激活层）

• 把卷积层输出结果做非线性映射。CNN采用的激活函数一般为ReLU(The Rectified Linear Unit/修正线性单元)，它的特点是收敛快，求梯度简单，但较脆弱，
• 激励层的实践经验：

①不要用sigmoid！不要用sigmoid！不要用sigmoid！
② 首先试RELU，因为快，但要小心点
③ 如果2失效，请用Leaky ReLU或者Maxout
④ 某些情况下tanh倒是有不错的结果，但是很少

池化层

• 池化层夹在连续的卷积层中间， 用于压缩数据和参数的量，减小过拟合。
  简而言之，如果输入是图像的话，那么池化层的最主要作用就是压缩图像。

全连接层

• 两层之间所有神经元都有权重连接，通常全连接层在卷积神经网络尾部。也就是跟传统的神经网络神经元的连接方式是一样的：