卷积层详细刨析

卷积层的刨析：

局部感知：
卷积层使用***卷积核**进行局部感知。原输入一个32×32×3的RGB图经过一层5×5×3的卷积后变成了一个28×28×1的特征图，那么输入层共
32×32×3=3072个神经元，第一层隐层会有28×28=784个神经元，这784个神经元对原输入层的神经元只是局部连接。
卷积核一般以随机小数矩阵的形式初始化。
权值共享以及权值计算
权值共享可以减少很多不相干的参数量的计算，可以节约计算资源。例如：隐层中有好多神经元，每个神经元1010的连接个参数量，实际就是每个神经元的参数向量都是就是[w1,w2,…w100]，其它同层的神经元的权值向量也是如此，这就是权值共享。
为什么需要权值共享呢？
第一隐层一般用边缘检测，第二层用第一层学到的边缘曲线组合得到一些特征比如：角度、线性第三层学到更加复杂的特征：比如：眼睛、眉毛，对同一层来说,他们提取特征的方式一样，第三层的神经元都是用来提取“眼睛”的特征，因此，需要计算的参数是一样的。
激活层：
所谓激励，实际上是对卷积层的输出结果做一次非线性映射。如果没有激活(其实就相当于激励函数是f(x)=x)，每一层的输出都是上一层输入的线性函数，无论有多少神经网络层，输出都是输入的线性组合，与没有隐层效果一样，这是原始的感知机。
relu的优势：
迭代速度快，可能效果不好，但是Tanh函数文本和音频处理效果好点。
池化层：
卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。也称为欠采样或下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性。
输出层：
模型会将学到的一个高质量的特征图片全连接层，其实在全连接层之前，如果神经元数目过大，学习能力强，有可能出现过拟合。因此，引入dropout操作，来随机删除神经网络中的部分神经元，来解决此问题。还可以进行局部归一化（LRN）、数据增强等操作，来增加鲁棒性