卷积神经网络（CNN）标准模型分析（四）

卷积神经网络的变种模型

（一）卷积神经网络可以改变输入的形式，比如说把一副图像的R、G、B三个通道看做一个整体输入，并且采用3D的卷积核，建立3D卷积神经网络模型，以处理视频图像。
（二）卷积神经网络可以采用重叠池化来进行下采样，比如在AlexNet中就采用了重叠池化的技术。池化就是对矩阵数据进行分块下采样。在标准的卷积神经网络中，池化分块是不允许重叠的。如果允许重叠，那么将产生更大的下采样层，学习算法也要做相应的修改。此外，平均池化可以该用最大池化。

**（三）**CNN可以改变卷积层和下采样层的交错排列方式。也就是说，允许卷积层和卷积层相邻，从而产生新的层间连接和计算方式。
**（四）**CNN可以采用修正线性单元（ReLU）、渗漏修正线性单元（LReLU）和参数化修正线性单元（PReLU）代替sigmoid单元，但在输出层还可以采用softmax函数代替sigmoid函数以产生伪概率。

**（五）**CNN可以采用较小的卷积核。构造成一个相对较深的模型。eg：VGG网络一般采用大小为1*1和3*3的卷积核，可以使网络的深度达到16层或者是19层。此外，通过使用参数化修正线性单元代替修正线性单元，VGG网络被进一步发展成了MSRANet。CNN还可以采用小型多层感知器代替卷积核，建立更加复杂的网中网（NIN）模型。
CNN通过反复堆叠具有维数约简作用的“摄入模块”（其中卷积核的大小限制为1*1,3*3和5*5），可以在合理控制计算总量的条件下增加网络的深度和宽度，从而建立性能更好，但层数很多、结构看似复杂的网络模型，如GoogLeNet模型。
**（六）**CNN在通过某种策略产生足够数量候选区域的基础上（如2000个左右与类别独立的候选区域），再提取每一个候选区域的特征并进行精细定位和分类，就可以得到区域卷积神经网络（R-CNN或者RCNN）模型。区域卷积神经网络的一个缺点是只能处理固定大小的输入图像。为了克服这一个缺点，可以在区域卷积神经网络的最后一个卷积层和全连接层之间插入一个空间金字塔池化（SPP）层，建立空间金字塔池化（SPP-net）网络。···

最后值的一提的是残差网络（ResNet），其目标是客服极深网络的训练困难，其基本策略是在普通网络中每隔两三层插入跨层连接，把原来的函数拟合问题转化为残差函数的学习问题。具有残差结构的卷积神经网络在深度超过150层、甚至1000层时，也能够得到有效的学习和训练。