Inception-v3 Rethinking the Inception Architecture for Computer Vision

1.摘要： 旨在通过适当的分解卷积和积极的正则化
2.VGGNet[18]具有架构简洁的强有力特性，但它的成本很高：评估网络需要大量的计算。
3.GoogleNet只使用了500万参数，与其前身AlexNet相比减少了12倍，AlexNet使用了6000万参数。此外，VGGNet使用了比AlexNet大约多3倍的参数。
4.信息内容不能仅通过表示的维度来评估，因为它丢弃了诸如相关结构的重要因素；维度仅提供信息内容的粗略估计。
5.平衡网络的宽度和深度。通过平衡每个阶段的滤波器数量和网络的深度可以达到网络的最佳性能。
6.由于Inception网络是全卷积的，每个权重对应每个激活的一次乘法。因此，任何计算成本的降低会导致参数数量减少。这意味着，通过适当的分解，我们可以得到更多的解耦参数，从而加快训练。
7.5×5滤波器在更前面的层可以捕获更远的单元激活之间、信号之间的依赖关系
8.通过在输入激活网格上滑动这个小网络，用两层3×3卷积来替换5×5卷积，该设定通过相邻块之间共享权重明显减少了参数数量
9.用3×1卷积后接一个1×3卷积，相当于以与3×3卷积相同的感受野滑动两层网络，那么对于相同数量的输出滤波器，两层解决方案便宜33％。相比之下，将3×3卷积分解为两个2×2卷积表示仅节省了11％的计算量。
10.辅助分类器起着正则化项的作用。接近训练结束，辅助分支网络开始超越没有任何分支的网络的准确性，达到了更高的稳定水平
11.稀疏表示是最重要的，因为与空间聚合相比，局部处理（$1\times 1$ 卷积）的比率增加。
12.通过估计训练期间标签丢弃的边缘化效应来对分类器层进行正则化的机制。
13.在神经网络中如何分解卷积和积极降维可以导致计算成本相对较低的网络，同时保持高质量。较低的参数数量、额外的正则化、批标准化的辅助分类器和标签平滑的组合允许在相对适中大小的训练集上训练高质量的网络。