CNN 卷积层和激活层

   CNN 与传统的NN相比，增加卷积层和激活层，使得网络的训练更加容易。

卷积层

    卷积 层最大的特点：局部感知和权重共享。

   传统的神经网络其表征能力已经很强，两层的神经网络可以近似表示所有的函数，但是却很难训练，比如对于图像领域，将图像的每个像素与每个神经元相连，要学习的权重参数数量就非常多，难以训练。而卷积层的提出，在图像的各个区域(比如5*5)上，使用卷积核参数提取相同的特征，参数就只包括卷积核的参数数量(5*5=25)。要提取多种特征就是使用多卷积核。至于为什么卷积层要这样：（1）图像的不同区域上用相同的参数去提取特征，这些特征就是一些局部特征；另外对于图像上不同位置相同或相似的区域，能够提取到相同的特征，保证了特征鲁棒（？不变性）。

  对于输入是I*H*W的图像（或者特征图），经过K*K×O的卷积核(I就是输入图的通道，O是输出图的通道）,该层的参数数量为 K*K*O*I

  关于卷积参数的理解，参考下图：

         

激活层

参考博文：http://blog.csdn.net/u013989576/article/details/70185145

  首先，为什么需要激活函数？  模拟人的神经系统，只对部分神经元的输入做出反应。

  其次，为什么采用非线性激活函数？如果是采用线性函数，那么多层神经网络也只有线性映射能力，输出都是输入的线性组合，与没有隐层一样。

  最后，采用哪些非线性激活函数？最常用的sigmoid ,tanh,relu,...

       

           

   sigmoid和tanh在x趋于无穷的两侧，都出现导数为0的现象，成为软饱和激活函数。也就是造成梯度消失的情况，从而无法更新网络状态。

   relu的主要特点就是：单侧抑制，相对宽阔的兴奋边界，稀疏激活性。稀疏激活性，是指使得部分神经元输出为0，造成网络的稀疏性，缓解过拟合现象。但是当稀疏过大的时候，出现大部分神经元死亡的状态，因此后面还有出现改进版的prelu.就是改进左侧的分布。