洞悉Inception网络结构

当我们构建卷积层时，你要决定过滤器的大小究竟是1✖1，3✖3，还是5✖5，或者要不要添加池化层。而Inception网络的作用就是代替你来做决定，虽然网络结构因此变得更加复杂，但网络表现却非常好。让我们来理解一下其中的原理。

例如，这是28✖28✖192维度的输入层，Inception层的作用就是代替人工来确定卷积层中的过滤器类型或者确定是否需要创建卷积层或池化层。如果使用1✖1卷积，输出结果会是28✖28✖某个值，假设输出为28✖28✖64（这里只有一个层），如果用3✖3的过滤器，那么输出是28✖28✖128，然后我们把第二个值堆积到第一个值上。为了匹配维度，我们应用相同（same）卷积，输出维度依然是28✖28。

或许你会说，我希望提升网络表现，用5✖5过滤器或许会更好，我们不妨试一下，输出变成28✖28✖32，我们使用相同卷积，保持维度不变。

或许你不想要卷积层，那就用池化操作，得到一些不同的输出结果，我们把它也堆积起来，这里池化输出是28✖28✖32，为了匹配维度，我们需要对最大池化使用padding，它是一种特殊池化（为了匹配维度）。

有了这样的Inception模块，你就可以输入某个量（因为它累加了所有数字），这里的最终输出为256 。Inception模块的输入为28✖28✖192，输出为28✖28✖256，这就是Inception网络的核心内容。

基本思想是Inception网络不需要人为决定使用哪个过滤器，而是由网络自行确定这些参数，你可以给网络添加这些参数的所有可能值，然后把这些输出连接起来，让网络自己学习它需要什么样的参数，采用哪些过滤器组合。不难发现，Inception层有一个问题就是计算成本。

我们来计算这个5✖5过滤器的计算成本，它有32个过滤器，每个过滤器大小为5✖5✖192。输出大小为28✖28✖32，所以要计算28✖28✖32个数字，对于每个输出的数字来说，都要执行5✖5✖192次乘法运算，所以乘法运算的总次数为输出数字的个数乘以每次执行乘法运算的个数，结果等于1.2亿。即使在现代用计算机执行1.2亿次乘法运算成本也是相当高的。

我们使用1✖1卷积把输入值从192通道减少到16个通道，然后再运行5✖5卷积得到最终输出，请注意输入输出的维度依然相同。我们做的就是用1✖1卷积将输入层压缩成28✖28✖16的中间层，有时这被称为瓶颈层，接下来我们看看这个计算成本。应用1✖1卷积，过滤器为16个，大小为1✖1✖192，28✖28✖16这个层的计算成本是输出28✖28✖16中的每个元素都做192次乘法，结果约等于240万，这只是第一个卷积层的计算成本。第二层卷积28✖28✖32每个输出值应用一个5✖5✖16维度的过滤器，计算结果为1000万，两层的计算成本之和为1240万。与之前相比降低为原来的十分之一。

我们将之前给出的Inception模块都进行1✖1卷积从而降低计算成本，注意这里的MAXPOOLING，为了维度相同，我们采用3✖3，stride=1，same padding特殊方法，后再执行1✖1卷积得输出28✖28✖32，最后将这些块全部连接起来。在这个过程中，把得到的各个层的通道都加起来，最终得输出28✖28✖256。这就是一个Inception模块。

Inception就是将这些模块组合到一起。

这是Inception network，注意这里除了Inception模块外，还多了几个分支。所以这些分支有什么用呢？在网络的最后几层，通常是全连接层然后softmax来做出预测。图中分支就是通过隐藏层来做出预测，所以其实是一个softmax输出，它确保了即便是隐藏单元和中间层也参与了特征计算和图片分类，起到一种调整的效果并且防止网络发生过拟合。

最后跟大家提一提Inception名字的由来，很有趣。
在Inception论文中也提到了这个梗，就是“我们需要走得更深”。这其实也反应了深度学习研究方向即深度的开发。