卷积网络的通用设计原则

卷积网络的通用设计原则

1. 避免表示瓶颈(representational bottlenecks)，尤其在网络早期。 前馈神经网络可以用输入到输出的无环图表示，这定义了信息流动的方向。对于任何将输入与输出分隔开的cut，都可以该cut传递的信息量。应该避免bottleneck极度压缩，从输入到输出网络的表示应该缓慢的下降。
   理论上说，信息量不应该仅由表示的维度评价，还跟一些重要的因素比如相关结构有关，表示的维度只能粗略的评估表示能力。
2. 特征越多，收敛越快。"Higher dimensional representations are easier to process locally within a network. Increasing the activations per tile in a convolutional network allows for more disentangled features. The resulting networks will train faster." 相互独立的特征越多，输入的信息就被分解的越彻底，分解的子特征间相关性低，子特征内部相关性高，把相关性强的聚集在了一起会更容易收敛。
3. 在空间聚合(Spatial aggregation)之前，可以在尽量不降低表示能力的情况下减少特征的维度。 比如，在执行3x3卷积之前，减少输入表示的维数，而不会产生严重的负面影响。原因是特征图中的相邻区域具有强相关性，存在信息冗余，特征维度压缩只损失很少的信息，但是可以加快网络的学习。
4. 平衡网络的宽度和深度。 增加网络的宽度和深度都可以提高网络的性能，但是只有网络的宽度和深度达到平衡时，网络的效率最高。