深度学习之基础模型-PolyNet

On one hand, the pursuit for very deep networks is met with a diminishing return and increased training difficulty; On the other hand, widening a network would result in a quadratic growth in both computational cost and memory demand. These difficulties motivate us to explore structural diversity in designing deep networks, a new dimension beyond just depth and width.

思想

在网络结构设计的发展中，存在着几个关键的路线：

• 在网络深度／宽度上进行增强【AlexNet->VGG->GoogleNet->ResNet】
• 在卷积核上进行处理：width/height/channel解耦合【1xn，nx1，1x1，depthwise-separable conv】
• 多样性：structural diversity【Inception module】

另一种角度，可以将网络结构设计分为：

• ensemble by structure: 结构上不断改进【shortcut path，highway】
• ensemble by train: 训练过程不断改进，比如droppath等技术【Stochastic depth technique, swapout】

作者发现随着网络深度的增加，虽然模型的效果也在提升，但提升的幅度明显降低，存在着“边际效应”，而且网络的计算复杂度和内存的消耗变的巨大。

从深度学习产生开始，人们都在不断探索如何提高模型的效果：

• 模型的深度
• 模型的宽度
  但是，作者提出了一个疑问：

Is increasing the depth or width the best strategy to pursue optimal performance?

通过观察模型的深度与模型的效果之间的关系：如下图

发现当模型的深度达到一定程度的时候，深度的增加对模型的提高起到的作用大大降低。从而，这也激发了作者从另外的一个角度去探索模型的结构，那就是结构多样性【structural diversity，类似于Inception modules】

模型结构

结合残差的思想，在多样性方面进行了改进

说明：

• 左侧：普通的残差模块
• 中间：Inception-ResNet-v2的模块
• 右侧：抽象的残差模块，更加有利于模型结构上上的改进，只需关注残差部分Residul F

PolyNet的基本概念

• residual unit:
  
  • 一阶： $(I+F)\bullet x = x+F\bullet x := x+F(x)$
  • 二阶：