1x1卷积核的神奇魔力以及Inception网络概述

• 神奇魔力1：举例子说明，假如网络的输入是28x28x192——>ReLU、CONV 1x1x192——>28x28x192。经过这样1x1的卷积，给神经网络提供了一个非线性函数（ReLU），从而减少或者保持输入层的通道数量。
• 神奇魔力2：假如网络的输入是28x28x192——>ReLU、CONV 1x1x32——>28x28x32。这样有效的减少了输入的通道数，从192->32。
• 神奇魔力3：在Inception网络中，使用了1x1卷积层来构建瓶颈层，从而大大降低了计算成本。举例说明。在未使用1x1卷积，28x28x192——>CONV 5x5、same、32——>28x28x32。这其中所需要乘法的计算量是：28x28x32x（5x5x192）=1.2亿左右。在使用了1x1卷积情况下，28x28x192——>CONV 1x1、16——>28x28x16——>CONV 5x5、same、32——>28x28x32。这其中所需要乘法的计算量是：28x28x16x（192）+28x28x32x（5x5x16）=1240万左右。相比于1.2亿计算量大大的下降了。
• 下面简单的介绍以下Inception网络。Inception网络的基本思想不需要考虑网络用哪个filter或是否需要池化，而是网络自行确定这些参数，你可以给网络添加这些参数的可能值，然后不同的可能值产生的输出连接起来（注意不同filter产生的输出长和宽是相同的，不然拼接不到一起去，这里用到了使用带有padding的最大池化，我们都知道最大池化一般不使用padding的）。这样让网络自己学习他需要什么样的参数，采样哪种filter的组合。左图是输入，1x1、3x3这些是卷积核的大小，右图是不同卷积核产生的输出的拼接。
  
  
  Inception网络就是多个上述这种块组成。