几种使CNN稳-准-快的操作

我想让深度学习在实际产品中应用起来，可是模型太大，速度有些慢怎个搞~~~可喜的是有无数AI先锋奋勇战斗，为我们提出一些精彩绝伦的解决方案，下面总结下：

卷积核方面：

1.大卷积核用多个小卷积核代替

忆往昔，最早AlexNet中用到了一些非常大的卷积核，比如11×11、5×5卷积核，之前人们的观念是，卷积核越大，receptive field（感受野）越大，看到的图片信息越多，因此获得的特征越好。虽说如此，但是大的卷积核会导致计算量的暴增，不利于模型深度的增加，计算性能也会降低。于是在Inception网络中，作者提出利用2个3×3卷积核的组合比1个5×5卷积核的效果更佳，同时参数量（3×3×2+1 VS 5×5×1+1）被降低，因此后来3×3卷积核被广泛应用在各种模型

2. 单一尺寸卷积核用多尺寸卷积核代替

 Inception结构

传统的层叠式网络，基本上都是一个个卷积层的堆叠，每层只用一个尺寸的卷积核，例如VGG结构中使用了大量的3×3卷积层。事实上，同一层feature map可以分别使用多个不同尺寸的卷积核，以获得不同尺度的特征，再把这些特征结合起来，得到的特征往往比使用单一卷积核的要好，因此谷歌发明的GoogleNet，或者说Inception系列的网络，就使用了多个卷积核的结构：