学习笔记4-inception v3

本周主要对论文Rethinking the Inception Architecture for Computer Vision进行学习，整理如下。

一、动机

之前Alex、VGGNet、googlenet网络方法的提出在分类领域取得了较高的性能，并且发现在分类性能上的收益可以转换成各种应用领域上的显著质量收益。相比于VGG和AlexNet，Inception方法的参数量有明显的降低，但是，单纯地放大Inception架构，大部分的计算收益可能会立即丢失。所以本文重新思考Inception架构，并利用一些一般原则和优化思想，来扩展卷积网络。

二、通用原则

1、避免表征瓶颈(representational bottlenecks)。避免极端压缩的瓶颈，表示大小(representation size)应该从输入到输出缓慢减小。信息内容不能仅通过表示的维度(维度仅提供信息内容的粗略估计)来评估，因为它丢弃了一些重要因素(如相关结构)。

简单的说：如果在网络一开始就极其压缩信息会使信息大量丢失。

原因：(参考了些别人的理解)表征瓶颈就是网络中间某层对特征在空间维度进行较大比例的压缩，比如使用pooling，导致很多特征丢失。

2、更高维度的表示(更大尺寸的特征)在网络中更容易局部处理。在卷积网络中增加每个tile的激活允许更多解耦的特征，使网络训练的更快。

局部处理指将耦合的特征分开来处理，解耦的特征指形成独立的特征。

解释：特征的数目越多收敛得越快。相互独立的特征越多，输入的信息就被分解得越彻底，分解的子特征间相关性低，子特征内部相关性高，把相关性强的聚集在一起收敛将变快，所以网络训练变快。

3、空间聚合可以在较低维度嵌入上完成，而不会在表示能力上造成损失。如果在空间聚合上下文中使用输出，则相邻单元之间的强相关性会导致维度缩减期间的信息损失少得多。由于这些信号应该易于压缩，因此尺寸减小甚至会促进更快的学习。

解释：压缩特征维度数，来减少计算量。Inception V1中提出的用1*1卷积先降维再作特征提取就是利用这个原则。不同维度的信息有相关性，降维可以理解成一种无损或低损的压缩，即使维度降低了，仍然可以利用相关性恢复出原有的信息。

4、平衡网络