CNN卷积神经网络（二）网络架构常见形式和参数设置

本文参考了 这篇教程

（一）网络架构

CNN的网络架构中最常见的形式就是堆叠好几个[CONV-RELU]层再跟上一个POOL层，重复几次，直到输入图像已经被转换为空间尺寸很小的输出 。即：

$\ast$表示重复
POOL?表示可能池化也可能不池化
$0\le N\le 3$
$0\le K<3$
$0\le M$

比如下面这几种网络形式：

几个Tips：

1. 多个[CONV-RELU]层堆叠起来再POOL有利于大型的深度网络。

因为多个卷积和RELU非线性可以在灾难性池化之前尽量更多的提取输入中的信息，发现更复杂的特征。之所以用destructive 形容pooling是因为，常用的$2\ast 2$步长为2的池化会直接删掉75%的数据实现降维和减参，虽然有利于实际需要，但太暴力，直接失去卷积层提取出来的有关输入的大量信息。

2. Prefer a stack of small filter CONV to one large receptive field CONV layer.堆叠几个小卷积核胜过一个大卷积核。

假设堆叠3个